亚马逊云服务(AWS)是如何成为全球云计算老大的,它做云有没有一套可借鉴的方法论?
作为亚马逊公司旗下云计算服务平台,AWS也已经推出上线14年,我们很难用一句话说清AWS能够在云计算领域持续增长和创新的秘诀。近来,机器学习成为AWS内部一项极其重要的业务,我们或许能够从中总结出AWS在云计算上一些打法。
在AWS披露的一项数据中,自 2016年推出3项机器学习服务以来的5年间,AWS已经累计推出776+的机器学习服务和功能。按照2019年的数据,新推出248项机器学习服务和功能后,机器学习在当年新推出服务和功能的总量(2345项)中的比例超过10%。
越来越深入的机器学习服务
当中国云服务商纷纷进军产业界,并逐步确定差异化发展方向的时候,远在美国的全球云计算巨头AWS却在疯狂为它的机器学习服务背书。
在不久前的“亚马逊re:Invent 2020大会”上,AWS CEO Andy Jassy 在主题演讲中调侃道:“2019年,我用75分钟来讲机器学习,但2020年我想换种方式。”而接下来,无论是他自己的阐述还是客户证言,在他长达3小时的演讲中,“机器学习”被提及的次数超过75次。
云计算的发展,为机器学习提供了蓬勃发展的土壤。亚马逊副总裁兼CTO Werner Vogels 博士在“2021将改变世界的八大技术趋势”的预测中提到,机器学习在2020年已经成为主流,未来三年内世界产生的数据比过去30年还要多,而与机器学习模型相结合,使用数据摄取和聚合工具,成为各行各业处理信息的唯一实际方法。
认准了机器学习的方向之后,AWS已经对机器学习的未来做出了趋势性判断,在机器学习上所提供的服务越来越深入。
从2016年-2020年的五年间,AWS在机器学习上推出的服务数量增长最快的是2017-2018年,这期间,机器学习服务从2017年的60项,增加155项至215项,此后AWS的机器学习服务每年以“200+”的增量发展。
截止目前,AWS的机器学习服务已经形成了“上-中-下”三个层次的服务框架:
AWS机器学习服务框架图
第一层,AI 服务,这类服务包含了视觉、音频-文字互转、聊天机器人等即拿即用的服务;
第二层,Amazon SageMaker服务,这类服务可以帮助使用者自动标记数据,并提供了SageMaker studio集成开发环境,是一个全托管的机器学习平台;
第三层,机器学习框架和基础设施,这类服务包含了可供使用者选择的多种机器学习框架,以及包含算力芯片、服务器等的基础设施。
“我们的机器学习解决方案,能够快速进行数据的模拟,挖掘数据价值。改变数据管理体系,可以把计算和分析融入所有的业务当中。”Andy Jassy 在演讲中说。
这正是AWS的高明之处,它将机器学习抽象为了一项通用服务,是数据湖、数据仓库、数据智能这些当下热门服务的必备工具。不强调行业属性、不强调使用场景,只强调“机器学习”作为一项服务对IT和业务效率的提升。至于用到哪儿、用到什么行业什么场景,客户说了算。
同时,机器学习也可以是更加普惠和易用的。在Andy Jassy的观念中,机器学习不应该是只被机器学习方面的专业人士来训练、调优、建构和部署,而应该是“Expand machine learning to more builders(让机器学习为更多构建者服务)”,这些“builders”包含了不是很懂机器学习的数据分析师、IT业务人员等。
事实也证明,AWS推出的机器学习服务中的SageMaker也已经成为AWS历史上增长最快的服务。目前,全球已经有超过10万的客户在使用AWS的机器学习和人工智能服务。
不同客户需求,促成AWS不断创新
不要尝试从AWS的口中获得更详细的关于产品创新的方案,在钛媒体APP对AWS不同人员的多次采访中,“如何保持创新”这个问题的答案永远是“以客户为中心”。实际上,不同客户所产生的对机器学习的需求,也确实促成了AWS在机器学习领域的不断创新。
AWS大中华区云服务产品管理总经理顾凡举了一个SageMaker的例子:“客户说你们去年发布的这些东西都挺好的,但是确实是在机器学习当中有一块硬骨头还是没啃,就是怎么快速地把原始数据转化成模型所需要的核心特征,把这个步骤加快。”
在这样的一些需求下,AWS推出了机器学习服务AWS Data Wrangler,该工具是机器学习的特征工厂。这里的“特征(function)”是机器学习中的术语,机器学习建模需要进行函数运算,数据“特征”输入函数后,就可以输出“标签(label)”。机器学习工具会根据标签来识别数据是猫、是狗还是其他。在原来的机器学习工具中,客户需要自己将不同的数据源打通,抓取数据然后格式化,把数据特征跑出才能进入后续流程。
而在使用了AWS Data Wrangler之后,无论是单一特征还是复合特征,Data Wrangler都可以将这些快速转换出来。并且在SageMaker Studio中,能够可视化地看到整个转换流程,方便进行流程干预。
另一方面,在机器学习框架上,目前大部分机器学习平台都倾向于只支持Tensorflow。但在对客户的调研中,AWS发现,其实对于一些专业做机器学习的人来说,他们希望能够自主选择使用哪种机器学习框架。
“AWS支持所有主流机器学习框架……我们有好几个团队,一个团队是优化Tensorflow,另外一个团队是优化PyTorch,还有一个团队是专注于MXNet,这就是为什么客户能够获得所有这些框架的最优性能。”Andy Jassy在演讲中谈到。
客户对工具这种需求,让AWS的服务具备了一定的柔性和兼容性,不止是机器学习产品线,在其他产品线也是如此。
Amazon Aurora是AWS的一款云原生的、兼容MySQL和PostgreSQL的关系数据库,主要使用场景是专有云,使用成本是其它商用数据库成本的十分之一。在Severless(无服务器计算)使用场景不断增加的情况下,有客户提出能不能让Aurora支持Severless,于是AWS推出了Aurora Severless V2,来满足以上需求。
Andy Jassy坦言:“这样做了之后,会有一些在用Aurora的客户迁到Aurora Severless,这样一定程度上看起来会给AWS带来一些收入的下降,但恰恰这就是AWS做产品不一样的思路。我们会听客户的声音,Aurora Severless一定程度上冲击了自己Aurora的生意,但这是客户需要的,我们相信长期下去,我们会帮客户更好地做到云上成本的节省,它会把更多的费用拿过去做创新。”
做SaaS,也做边缘硬件
中国云计算服务商在发展中的“边界”感很强,在创立的初期为了争夺合作伙伴生态,都发表过类似“不做SaaS”的言论,但随着产业互联网的深入推进,SaaS已经成为各家云计算服务商都在向客户提供的服务。
但对于AWS来说,如果客户有强烈的需求,AWS是不给自己设限的。既然客户需要且AWS能够提供,那就可以依此进行创新。如果这项服务与合作伙伴提供的服务产生冲突,那么可以平等竞争,选择权交给客户。
我们上文提到,AWS的机器学习服务有一个“上-中-下”的服务框架,最上层的AI 服务中就包括一些为了降低机器学习使用门槛而推出的SaaS服务。AWS表示,随着机器学习技术被各个行业广泛采用,在机器学习上的应用也会越来越多。
前不久,AWS与黑莓(BlackBerry)宣布推出了智能汽车数据平台IVY,该平台能够让汽车制造企业把数据的收集、分析进行自动化,从而提供个性化的驾驶及搭乘体验。
最近,在工业领域,AWS也针对性推出了五项机器学习服务,其中Amazon Monitron、Amazon Lookout for Equipment可以让工业企业通过机器学习进行预测性维护、AWS Panorama Appliance、AWS Panorama SDK则可以通过计算机视觉改善工业运营和工作场所安全,Amazon Lookout for Vision则可以低成本、快速、准确地对图像和视频进行视觉异常监测。
值得一提的是,AWS Panorama一体机其实是AWS自主设计的、部署在边缘的硬件设备。AWS全球副总裁 Swami Sivasubramanian告诉钛媒体APP,在客户已有本地摄像头的情况下,将它连接到工业场所的网络中,就可以自动识别摄像头数据流,与工业摄像头进行交互。
既提供SaaS服务,在必要情况下也提供一些硬件设备。所以在对服务部署模式的界定上,AWS采取了更为开放的态度,不给创新设限。反过来讲,在一些概念比较热的时候,AWS也极少跟风。
“我们有两个原则,一个原则是授人以鱼不如授人以渔,我们更多希望帮助客户把能力建立起来,给他工具、教会他使用工具;第二是真正在工程方面有差距、客户需要帮助的时候,我们会帮他快速把业务难题用产品原型的方式实现出来。”AWS大中华区云服务产品管理总经理顾凡在总结时表示。
数据显示,AWS在 2011年发布了包含机器学习服务在内的80 多项重要服务和功能;2012年发布了近 160 项;2016 年发布了 1017 项;2019 年发布了 2345项。
这么多的服务,AWS如何保证创新的真正落地呢?
“我们的产品至少有90%以上完全是根据客户的需求开发成产品的。如果你看我们推出一款产品,首先你要相信一定在社会上、在全球范围内有很多客户有这种需求。”AWS大中华区首席云计算企业战略顾问张侠说。
同时,一项产品上线,并不是要求让所有客户都用起来。“每一次re:Invent发布的时候,我们的客户会非常兴奋,因为他是带着需求看大会发布的。无论从新用户还是老用户来讲,创新无法落地的问题是不存在的。”