一、背景介绍
2013年8月15日,在杭州转塘云计算园区,承载着阿里巴巴集团数据业务的“开放数据处理服务”集群正式开始生产运营,服务器规模达到五千台。这标志着阿里巴巴集团自主研发的代号为“飞天”的大规模分布式计算系统成为了单集群规模达到五千台服务器的通用计算平台。阿里巴巴集团亦从此成为世界上独立拥有相关技术能力的屈指可数的公司之一。世界范围内,像google、facebook这样的顶级技术型IT公司,集群的规模就是按照5000来划分的,而此前国内还没有这样的技术。
2013年9月,阿里云阿里云宣布开启“探索5K巅峰—开发者体验招募活动“,将凝聚了阿里人技术与汗水的5000节点的单集群首次公开对开发者体验使用,这是全球范围内第一次把如此强大的计算能力以公共服务方式分享给开发者。
2013年10月25日,杭州云计算产业园会在转塘园区为飞天5K设立纪念标志,将为中国云计算事业付出汗水的参与5K项目的幕后英雄名字镌刻在纪念碑上,并将在第三届阿里云开发者大会上揭幕。
二、飞天5K项目
(一)项目介绍
自投身云计算、书写第一行代码开始,阿里云就走上了一条自主研发以“飞天”为代号的大规模分布式计算系统的不归之路。比肩国际技术水准的飞天可将数以千计的服务器联成一台“超级计算机”,对这台“超级计算机”进行物理资源分配、程序运行操控,从而保障服务及数据安全的操作系统,成为支撑阿里云服务的核心技术平台。
在上百名工程师历时5年艰难的技术攻关之后,他们书写的300万行代码赋于了飞天更高的价值:2013年8月,飞天开放平台迈入新的里程碑!成功实现单集群超越5000台、同时支持多集群跨机房计算!
(二)技术实力与计算能力
国际上仅有包括google在内的屈指可数的几家公司拥有这样的技术,这也是中国人从来没有尝试并且做成的一件事情!借助5K项目,阿里集团取得了自身技术发展史上的一次划时代的突破!而5000节点单集群拥有的计算规模无疑是惊人的:
·10万核的计算能力
·100PB存储空间
·可处理15万并发任务数
·可承载亿级别文件数目
·100TB 排序 30分钟完成,是现有世界纪录的两倍以上(详见注释)
注释:
2013年7月1日,Yahoo取得Sort Benchmark排序测试 Daytona Gray Sort的世界纪录,1.42TB/min;100TB排序完成时间约71分钟。
(三) 计算能力等待想象力的挑战
在今天的飞天开放平台上,众多创新型应用正在借助云计算技术进行大规模的数据收集、分享和实时处理工作:中国首部在云计算上完成渲染的3D动漫影片《昆塔》,得益于阿里云计算的支持,在3个月内快速完成自有渲染农场原本40个月的渲染任务, 累计计算量超过1400万核小时;阿里金融所涉及的小微信贷业务,每天利用数十万CPU核小时对上百TB的交易数据、对商家进行信用评估和风险预测,云计算使得阿里金融同时向大批量的小微企业提供金融服务成为现实……
云计算的真正意义不仅仅在于输出何等的服务能力,而在于颠覆产业推动社会实现跨越式发展的变革意义!也正因为如此,阿里云才走上发展自有云计算技术之路。
飞天开放平台服务着无法精确统计的无数用户,用户遍及消费电子、公共卫生、能源管理、媒体、电子商务、电子政务、移动互联网等众多行业,既有联想这样的大型企业,也可以是一个人的公司。云计算带给企业的创新能力和发展空间是不可想象的,由飞天技术打造的这台“超级计算机”,它将可以帮助中小企业获取大型公司才能拥有的存储资源和计算能力,以此为支点撬动憾世创想!
此外,在本次开发者大会上,会有一个5K英雄召集的活动,会把曾经为飞天做过贡献的同学都召集起来,包括在职和离职的员工,里面的一些技术大牛和花絮故事,到时候都可以作为传播的素材。