【51CTO.com原创稿件】最近,一个国际计算赛事Sort Benchmark引起了业界的极大关注。
与SPEC有所不同,Sort Benchmark(http://sort benchmark.org/ )在国内并不为大多数人所熟知,Sort Benchmark不是有了云计算才有的赛事。该机构的赛事由1998年图灵奖的获得者Jim Gray主办,历届的夺冠企业荟萃了AWS以及大数据领域著名的Hadoop和Apache Spark等知名科技公司。可以说,Sort Benchmark就是今天计算赛事的***殿堂。
而这次能引起讨论和关注,是因为这次入榜登顶的身影中有两家中国的云计算服务商。
Sort Benchmark是什么?为什么最近引起关注?
Sort Benchmark发展经历了很长时间,随着摩尔定律的不断发展,集群计算调度算法的不断发展,Sort Benchmark的排序方法也不断发生变化,除了不断变化的评比方法外,Sort Benchmark新增了基本原则,在Sort Benchmark的官网上,我们看到,2014年开始出现了CloudSort测试。
(上图)腾讯云获Graysort和Minutesort冠军,南京大学、阿里云、Databricks组成的联合参赛团队获Cloudsort冠军
以上三种六项测试中,腾讯云的是Graysort和Minutesort,南京大学、阿里云、Databricks组成的参赛团队获得的是Cloudsort,因为腾讯云、阿里云的参与遂引发关注。
Graysort,Minutesort和Cloudsort分别指的是什么呢?
Graysort测的是排序大量数据(目前最小为100TB)时花费的时间,时间越短效率越高。
Cloudsort测的是排序一定数据量时花的成本最少,花的钱越少越好,其实就是性价比。
Minutesort测的是在60分钟之内排序的数据量,排的数据量越多越好。
各项测试分为两种:Daytona和Indy,两者的区别在于,前者是通用目的排序,后者要求是专用目的排序。这次榜单中恰巧两项都是相同的,这种情况在以往也经常能看见。
测试有个基本的原则是使用的都是商用化在市场上能买得到的东西,既有直接的硬件方案,也有基于租用的云主机做的方案,并且不能经过任何修改,测试需要排序的数据都是由gensort record generator生成。
2014年百度获得过冠军奖项,2015年阿里云获得Graysort和Minutesort两种四项冠军。2016年腾讯云将比赛记录总体提升了2.8倍到5倍,今年南京大学、阿里云、Databricks联合团队获得Cloudsort两个子项的冠军,拿到了AWS在2014年获得的冠军位置(AWS并没有直接参与到这次测试,加州大学独立参赛,使用AWS在售的虚拟机)。
Sort Benchmark比的是什么呢?
Sort Benchmark考量的是一家公司或机构大规模计算能力的综合实力,不仅全面评测分布式系统软件架构能力(如海量数据分布式存储、计算任务切片调度、节点通信协调同步、数据计算监控容灾等性能),也评测了硬件架构能力(如服务器硬件选配、网络架构调优、IDC规划建设能力等)。
从Sort Benchmark的官网可以看到,腾讯云采用IBM Power处理器,许多人印象中的IBM Power形象非常高大上,但从成本上来算,腾讯云方面表示由Power组成的整体配置的TCO成本,低于去年阿里云方案的成本
去年阿里云的方案中采用3134+243一共3377多个节点,每个节点用两路六核的E5-2630或者两路八核的E5-2650 V2,单机性能与Power8系统相比有些差距,但与今年腾讯云使用的512节点10核POWER 8整体计算集群相比相差不是特别大。而且两者都不是近期才更新的产品,Power8是2013年8月发布的,E5 2600 V2系列也是2013年发布的。
内存总量方面阿里内存总量较高;存储IO方面,腾讯云用的是NVMe协议的SSD,阿里云用的是SATA磁盘,腾讯云有优势,但考虑到这里的计算本身可以由内存完成,随机读写的要求不高,优势也不是很明显;网络方面,腾讯云用的是Mellanox的100Gb高速互联技术,虽然集群机器数少了6倍,这倒是有明显优势。
整体看,512台机器整体TCO与阿里云去年3377台机器相比成本低,同时从内存、磁盘、网络等整体看与去年的差异不大。相比之下,腾讯云跑出的成绩则高出了许多,其中98.8秒排完100TB的Indy Graysort项更是赚足了眼球。
这说明,腾讯云这次靠的不是高成本堆硬件,考验的是在软硬件的综合实力,从架构到代码,到硬件底层驱动都需要做优化,强化调度能力,内存利用率等。
另外值得注意的是CloudSort这一项,2014年AWS创造的排100TB数据花费451美金,而今年阿里云仅用144美金,两年时间刷新了榜单记录。不过就目前来看,使用当前的硬件价格与2年前的价格进行比较,其可比意义有待商榷。
Sort Benchmark测试能与实际应用相结合
Sort Benchmark的比赛规则要求所有的硬件都必须是商用硬件配置,意在让测试与应用相结合,而不是简简单单的跑分测试。南京大学采用阿里云进行CloudSort测试用的都是公开售卖的云主机,可以被用户使用。而腾讯云基于Power的方案在哪儿使用呢?
据了解,腾讯云基于Power的方案在内部系统中也投入了实际使用。半年前OpenPower峰会上宣布要让Power帮腾讯跑大数据应用,这次比赛表明Power在腾讯已经落实。
腾讯云和阿里云在Sort Benchmark的参与,展示了国内云服务商的计算能力,拿到了四种测试中三种的冠军。未来还有一项测试等待挑战,那就是Sort Benchmark的Joule(焦耳),它测试的是排序一定量数据所消耗的功耗。目前该项测试冠军由微软把持,测试中使用的不是Linu而是Win8,毕竟有操作系统的厂商属于特例。
(上图)Sort Benchmark的Joule(焦耳)项目
【51CTO原创稿件,合作站点转载请注明原文作者和出处为51CTO.com】