10 年前,Netscape 创始人、硅谷著名投资人马克·安德森表示“软件正在吞噬世界”,这只说了故事的一半,10 年过去,人们从不信任到得“云”者得天下,云服务成为正在吞噬世界的“大鱼”。
工业和信息化部在《推动企业上云实施指南(2018-2020年)》中提出,到 2020 年,全国新增上云企业 100 万家,形成一批有影响力、 带动力的云平台和企业上云体验中心。据中国通信院与 Gartner 预测,至 2023 年全球云计算行业规模将达到 3500 亿美元,中国云计算行业规模将达到 3800 亿元。随着更多的企业将核心技术互联网化,企业对云计算相关的技术与服务需求将日益凸显。如今,云计算“大鱼”游动加快。
今年疫情促进更多企业云转型,在这过程中,企业如何探索有效释放云价值方案,或如何更好地帮助企业使用云能力,成立 7 年、被称为“全球新经济智能移动广告第一股”的汇量科技(Mobvista)交出自己的答卷。
近日,汇量科技宣布将弹性云计算团队及工程运维团队合并为云计算及基础架构业务中心(下文简称:云事业部),成为与公司广告技术事业部并列的第二大事业部,正式布局云计算。云事业部由技术副总裁及首席工程架构师蔡超总负责,并直接向联合创始人及总裁曹晓欢汇报。
突破技术迭代瓶颈,汇量科技转型之路
时间拨回 2013 年,汇量科技成立,以移动广告和数据分析业务为主。随后以 AI+大数据为核心,构建技术中台架构,用数据智能驱动用户增长。汇量科技入局云计算,早在 2019 年已有端倪。
2019 年 7 月,汇量科技加入 AWS 全球合作伙伴网络(APN),将技术中台上架 AWS 线上商店;并加入 AWS SaaS Factory计划,以 SaaS 模式输出技术中台能力。同年 9 月,汇量科技与阿里云联合发布弹性集群管理平台 SpotMax。除了与云厂商合作外,汇量科技自身是云计算技术普及最大的受益者。
蔡超表示,汇量科技在创建之初便采用 All-in-cloud 技术结构,所有的系统均基于云计算构建。并依赖于云计算按需获取的优势,使得计算资源不再成为公司业务快速成长的限制,公司业务得以在全球快速增长。
然而随着广告业务对数据需求量大、程序化广告爆发、海外业务部署等,对云计算资源的需求增多,带来一定的成本压力,如何更高效地使用云技术,成为包含汇量科技在内的大部分公有云用户头疼的难题。汇量科技追本溯源,发现是由于现有应用系统和基础设施的不匹配而导致问题的。
危机总与机遇并存,回顾软件发展的历程,IT 基础设施的变迁将推动软件架构的演进,使软件架构必须充分发挥基础设施的特点。如在大型机时代,与之匹配的是简单的单体架构;PC和局域网时代下,客户服务器架构成为主流……
如今来到云时代,基础设施同样推动软件架构的演变。可很多企业的云转型是由 IDC 迁移而成,或根据在原有的 IT 基础架构设施上的思想进行开发。汇量科技另辟蹊径,从优化底层技术架构开始,除了利用云的技术特性外,还利用云的定价模式特性,构建弹性资源管理系统 SpotMax。如此一来,在兼顾可用性的情况下,可充分去利用云端的廉价的计算资源,通过系列的技术改造,使得程序化广告的单位请求处理成本降低 65%。
“因此,汇量科技成立云事业部,希望能够对外输出汇量科技在云上的实践经验,帮助更多面临同样云挑战的企业。”蔡超说道。
降低数据处理成本,云原生来救驾
上文谈到,汇量科技的主营业务是移动广告和数据分析,据 2020 年上半年财报显示,汇量科技程序化业务收入为 191.9 百万美元,与2019年同期相比上涨51.4%,占公司上半年总收入71.9%。在这背后,超大规模的程序化广告平台对实时处理性的要求非常苛刻,50-100ms间就必须完成。据曹晓欢在 AWS CIO 论坛演讲指出,在 1000 亿次的日均广告请求和 10 亿级的设备覆盖下,平台仍需对单次广告请求做出毫秒级的精准预估和出价回应,同样需要昂贵的计算集群支撑。
如何降低数据处理成本,云原生来救驾。近年来,“云原生”成为 IT 圈里炙手可热的概念,利于各组织在公有云、私有云和混合云等新型动态环境,构建和运行可弹性扩展应用的云原生,可有效地简化用户运维,提升资源弹性,快速被企业和开发者接受。据数据显示,到 2021 年,将有 92% 的公司成为云原生公司,越来越多的企业和开发者开始把业务与技术向云原生演进。
汇量科技也不例外,在此背景下,经历真实大规模实践场景锤炼的云原生产品 SpotMax 应运而生。SpotMax 是⼀个利⽤弹性计算资源进行云端系统成本优化的体系,旨在帮助⽤户使用云平台提供的弹性资源在保证系统可⽤性,甚⾄获得更⾼可用性的前提下,实现成本的最⼤化节省。由以下三个部分组成:
MaxArch:构建高可用性,⾼弹性架构,可以允许系统在不影响业务的前提下更充分的使⽤具有成本优势的⾼弹性计算资源。
MaxChaos:利用混沌工程可以有效的评估系统的容错能力,其评估结果将成为MaxGroup⾃动规划合理弹性集群的依据。实现MaxArch的持续改进及评估。
MaxGroup:根据服务工作模式和运⾏特征,优化主机群集。智能弹性集群管理可以有效减少弹性计算资源波动带来的集群服务能⼒变化。并在⾯向成本优化构建的混合机型集群最⼤发挥集群不同机型的服务能⼒。
而SpotMax之所以能实现如此大比例的成本缩减,其秘诀在于通过数据分析预测来合理的调配Spot实例这种价格低廉的云资源,同时兼顾了“稳定”和“低价”两个用云当中的核心诉求。
要同时实现“低价”和“稳定”并不容易。Spot实例其实是云商的闲置资源,价格便宜但供应不稳定,容易中断,而一旦中断对于企业造成的损失是巨大的。SpotMax会统计过去中断的历史数据和实时分析目前的市场供需情况,来预测不稳定的Spot实例,做到对各个可用区中的各种类型的实例机型进行市场评分和中断管理。根据用户集群的特点,SpotMax可以自动化地在云商全球各地的数据中心调度那些最便宜和最不可能被中断的实例机型为业务所用,把“低价”和“稳定”这两个原本矛盾的点统一起来。
蔡超表示,SpotMax 在线上实时系统有较强的先发优势,该技术既服务自身大规模的广告业务,也服务于外部企业,以降低本身的研发成本和对外系统提供服务的成本。
不断破圈,技术打造工具生态
从广告变现、数据分析,到技术中台的发展,再到如今的云事业部,我们观察到,汇量科技不仅给开发者提供流量,还在布局打造“工具生态”。为开发者提供从获客、变现、数据洞察,云服务等开发者能用到的“工具”,助力其业务增长。
在中国互联网协会的发布《中国互联网企业综合实力研究报告(2020)》及“2020年中国互联网综合实力前百家企业”榜单里,汇量科技凭借全球化业务布局及技术创新上榜。曹晓欢透露,汇量科技下一阶段的目标是“由技术的创新者成为技术的输出者”,将多年来沉淀的技术能力形成面向企业需求的技术产品与解决方案,而 SpotMax 将是汇量科技 “技术外溢”的重要品牌。
做企业背后的 IT 公司,汇量科技是“有备而来”,最近三年,其研发投入始终处于增长状态:2019 年汇量科技研发费用达 2.5 亿元人民币,同比增长 20.5%;研发技术团队员工 391 人,占总雇员人数的 50.3%。
