去年在写《中国云力量》这本书的时候,其实有很多备选的书名,那么为什么***选了这个名字呢?因为,这其中也有一层对中国云崛起的期待,云计算最早是SUN公司提出来了,之后被AWS发扬光大,过去中国的云计算距离***的云一直存在差距。
田溯宁在为《中国云力量》所做的序言中提到,“云计算的变革核心不仅仅是商业模式和公司经营的变革,更是整个人类社会的变革。”那么,在这场相当于工业革命一样的变革当中,中国的云计算公司能够表现出何种价值?
我们知道,云计算是一个技术驱动的行业,只有在技术的舞台上,持续的站在***,才能说中国的云计算真正到了走向世界的一天。
还记得2014年的Sort Benchmark,中国的百度***在这项计算界的奥运会上夺取其中两个项目的冠军,而去年,阿里云则在四个项目中打破全部4项世界纪录。
今年的Sort Benchmark,来自中国的腾讯云,则再次刷新了这四项世界纪录,展现了中国云计算的技术能力。从这个角度看中国的云计算在技术上的沉淀开始释放光芒,中国的云计算力量也在觉醒中,做好了***世界的准备。
计算赛事的***殿堂
首先要强调的是Sort Benchmark。这是一个专门从事排序基准评估的非盈利机构,该机构每年都会举办一次排序基准评估比赛,很多公司和学术机构都会带着他们***的研究成果来参加这个比赛,以评估他们的研究成果。
在2007之前,该机构的排序基准评估比赛的主办和管理主要都是由Jim Gray负责主办和管理的排序基准评估比赛。这位1998年图灵奖的获得者,***传奇色彩,他于2007年1月28日早上独自乘船离开San Francisco Bay,去一个叫Farallon小岛洒他母亲的骨灰,不幸在外海失踪。
传奇的人已离我们远去,而传奇的赛事却每年都在焕发新的青春色彩。每年一度的Sort Benchmark,都被誉为计算界的奥运会。云计算领域大名鼎鼎的AWS就曾在该项比赛中夺取过多项冠军。还有大数据领域著名的Hadoop和Apache Spark都是过去几年这项比赛中的冠军得主。可以说,Sort Benchmark就是今天计算赛事的***殿堂。
据了解,这项赛事包括四项比赛,今年的腾讯云大数据联合团队参加的是含金量***的GraySort和MinuteSort两项排序竞赛,重点评测大规模分布式系统的软硬件架构能力及平台的计算效率,以上两项比赛均包括Indy(专用目的排序)和Daytona(通用目的排序)两个子项。腾讯云夺得上述四个子项的冠军,总体将去年的纪录提高2倍到5倍。
在我看来,Sort Benchmark是通过排序竞赛考量一家公司或机构大规模计算能力的综合实力,不仅全面评测分布式系统软件架构能力,比如海量数据分布式存储、计算任务切片调度、节点通信协调同步、数据计算监控容灾等性能,也评测了硬件架构能力,比如服务器硬件选配、网络架构调优、IDC规划建设能力等。所以,这项比赛中的胜出,也等于在侧面验证了腾讯云在云计算和大数据上的整体技术能力。
腾讯云做到了哪些新突破?
毫无疑问,本届Sort Benchmark的***赢家是腾讯云的大数据联合团队。这是由腾讯云存储产品中心、腾讯数据平台部组成的比赛团队,在大数据技术和应用管理上有非常丰富的实践经验。
首先,从Sort Benchmark官网显示的数据上看,在这次竞赛中,腾讯云数智分布式计算平台,夺得Sort Benchmark大赛GraySort和MinuteSort的冠军,总共创造四项世界纪录,将去年冠军阿里云的纪录整体提高2倍到5倍。
那么,GraySort和MinuteSort两项比赛的冠军到底意味着什么?
***,GraySort比拼的是完成100TB的数据排序的耗时,主要评测的是系统对大规模数据的处理能力。腾讯云用时98.8秒完成100TB的数据排序,即每分钟完成60.7TB的数据排序,去年阿里云的纪录为18.2TB/分钟。
第二,MinuteSort竞赛,比拼的是1分钟内的排序数量,主要评测的是系统的效率。腾讯云的成绩为1分钟完成55TB的排序,去年阿里云的纪录是11TB,腾讯云将这一数据量提升5倍。
通过比较Sort Benchmark官网公布的数据可见,腾讯云的单机性能比去年强大许多,但整体集群的配备和阿里云的配备差异不大。但是如果是对运营成本了解的业内人士可以计算出,腾讯云512台机器的整体TCO成本比去年的3377台机器低;同时从比较直观的指标如内存、网络、顺序读写IO等整体看与去年的差异不大。今年排序比赛成绩的提升是实实在在的,并非由硬件堆砌出来。
其次,今年的比赛其实不完全是一成不变的竞赛。因为比赛要求的提交时间,突然宣布提前了一个月,这应该是很多参赛团队没预料到的。但这也恰恰突出了各团队在技术积累的重要性。
那么从技术积累的角度,腾讯在大数据技术的探索上可以说一直走在业界前列。我们知道,腾讯的用户和产品数量都比较多,数据量巨大,数据分析的复杂度高,对底层技术平台的要求自然很高。以春晚摇一摇发红包为例,其***的并发请求量是抢火车票的一百多倍,要处理的问题不仅是海量并发请求,还有资源推送、红包收发和金融级的安全防护等等,这些都考验着腾讯对于大数据处理能力的技术沉淀。所以,面对Sort Benchmark突发性的需求,腾讯云才能做到了不慌不忙。
据悉,为了参加本次竞赛,腾讯云数智从现网调配了512台用于实时计算服务的服务器,在网络方面采用了迈络思的100Gb网络技术,腾讯云大数据服务的实时计算平台能提供单集群上千台规模实时流式计算,在数据存储方面,支持多重数据备份,万亿数据的存储能力。在任务调度方面,支持***任务的毫秒级的调用。而且支持故障节点自动发现,自动剔除,业务的自动迁移,关键节点的主从热备,故障的秒级切换。
从“三连冠”看中国云崛起
从以上分析可见,腾讯云能以较大优势斩获Sort Benchmark竞赛四个项目的冠军,绝非偶然。再联系去年阿里云和前一年百度的表现,我们可以判断,中国云计算已经在技术能力上不输于***云计算公司。连续的“三连冠”足以验证中国云的集体性崛起。
这背后的内因是互联网公司们通过自身业务的扩展,在多个不同的应用场景上的创新,让支撑业务的云计算技术得到了极大程度的升级。可以说这是中国在互联网时代,换来的***的财富。
我认为中国云的崛起将有两个较大的意义。
***,云计算是分享经济的基础,是互联网商业模式的基石。有了腾讯和阿里等公司以自身业务作为试炼场,才有了今天腾讯云和阿里云技术的成熟的发展。而这些技术未来都会开放给中国的创业者,中国的企业。
以Sort Benchmark上大放异彩的腾讯云数智平台为例,它是一套一站式的大数据处理平台,使用数智可让技术团队可以专注于代码层的开发,而无需关注集群和组件的性能和稳定性,极大的降低了大数据的使用门槛。在数智平台上提供了业界最丰富的数据开发套件,用户可以一站式的完成从数据清洗、数据建模与分析、可视化呈现、数据治理等一系列操作,支持实时流式数据、离线数据的导入与导出。
而腾讯云数智的开放,则能够让社会各界享有与腾讯同级的大数据处理能力。对于企业而言,可以在大幅降低人力成本、快速将大数据平台落地的同时,享有高稳定、高性能、高安全的大数据平台。对于开发者而言,无需将时间精力投入到集群的搭建、改进社区版本稳定性等问题上,从而全力投入进业务层与代码层中。换句话说,腾讯云Sort Benchmark上实现的速度与效率,未来企业都可以借助腾讯云来获取到。
第二,云计算技术是创新的温床,它让计算的成本不断的降低。有了腾讯云和阿里云不输于***云计算的技术能力,让云计算真正成为中国创新的驱动力,进一步让互联网+、工业制造4.0更快的成为现实。
仍然以腾讯云为例,腾讯云已经对外开放了一系列AI产品,如万象优图、人脸识别、语音识别、智能客服等服务。比如微众银行已经将优图的人脸识别技术运用到开户流程中,在保证安全性的前提下,极大的提升了开户效率并显著降低成本。可见,企业和开发者可以有效的借助腾讯云开放的腾讯大数据和AI能力,来快速分析其存储的非结构化数据,实现业务的创新。
总体而言,云计算代表了底层创新技术的驱动力。一个国家在云计算上的技术沉淀换来的觉醒,会促使社会全面创新的启动,和产业流程的优化。百度、阿里云和腾讯云,三年之间将Sort Benchmark的纪录每年都进行了一次大幅度的提升,也意味着中国云力量的崛起已成定局。