【51CTO.com原创稿件】FreeWheel创建于2007年,总部位于美国硅谷,是一家专门提供电视及互联网视频广告投放、预测和增值服务等关键解决方案的技术公司,主要以互联网技术进行广告投放,目标行业以电视为主。截至目前,90%美国顶级电视媒体运营商使用FreeWheel平台,每年通过FreeWheel平台产生500亿美元的广告支出,占全美的视频广告领域的25%。
FreeWheel这家公司有很多出乎意料:公司的业务、销售、市场皆在欧美,技术研发团队却以中国为主;仅用十年就布局全球广告行业,成为业界知名的高端视频广告管理技术和服务提供商。FreeWheel的业务创新有哪些秘诀呢?
技术挑战
作为广告投放的平台方,FreeWheel提供跨平台的广告精准投放,结合数据赋能和身份管理等功能,以及自动化交易方式连接广告主及其代理以及视频媒体运营商。为了给上下游企业提供更好的服务,FreeWheel也面临着一些技术上的挑战。
FreeWheel CTO 马玉羚介绍,首先,FreeWheel需要持续地应用创新和迭代,例如近两年FreeWheel开发的平台功能需要快速迭代,来支持业务交易的变化,售卖方式的变化。
第二,快速、宽幅的弹性伸缩。FreeWheel会支持一些国际顶级赛事的直播,用户的观看需求也是激增的。过去,FreeWheel是有20多个本地的数据中心,但当大流量进入后,本地扩展实属困难,同时又不能采购大量机器在多数时属于闲置状态。因此,FreeWheel急需弹性的伸缩能力,以应对激增流量场景下的需求。
第三是海量数据的存储和处理。据了解,FreeWheel每天的日志数量会达到80T,处理数据后会产生复杂的逻辑,产生落盘数据10T。在落盘之后,FreeWheel的技术人员还要根据不同的应用进行监测。
第四,严格的安全和合规要求。由于FreeWheel的平台是企业级平台,并且服务着顶级媒体和众多广告主,对安全合规也有着极高的要求。
上云步骤
在两三年前,FreeWheel开始决定进行迁移上云,上云的步骤也是遵循了亚马逊云科技的现代化应用转型策略。首先是应用的平移,将应用容器化后迁移到亚马逊云科技,数据库依旧采用传统的MySQL数据库。
在上云后,FreeWheel开始进行基于云的优化。由于业务数据相对复杂,需要一边运行一边重构,最终FreeWheel利用Amazon Aurora和Amazon DynamoDB来替换原有的MySQL集群。数据也从原来本地存储迁移到Amazon S3中。而后,FreeWheel基于云开发了相关工具 ,例如运维平台、监控平台等等。
目前,FreeWheel主要业务都已经部署在亚马逊云科技上,在上云后进行拆分成微服务,形成微服务加serverless的混合架构体系。据介绍,基于Amazon KES共有超过50个集群,超过5000个Pod,每天Amazon lambda的请求量达到了100万,Amazon SageMaker累计处理数据达到100TB。
虽然核心业务系统已经全部上云,但是FreeWheel还有一些业务是运行在本地的,因此,目前FreeWheel的架构是混合的,那不同技术架构下如何进行交互呢?FreeWheel技术人员介绍说,在系统内部进行交互时,例如微服务之间进行交互会采用经典的gRPC这样的方式,效率也更高;若是跨系统间的交互,如果系统之间有可以兼容的协议,例如FRPC等方式会优先使用,如果没有则会采用传统的Restful方式进行交互。同时,FreeWheel还引入了很多服务治理,例如Service Mesh,对微服务进行相应的质量安全、通讯各方面的一些保障。
迁移上云后,FreeWheel成功支持了奥运会、超级碗、世界杯等10多个全球收视率最高的赛事活动,亚马逊云科技帮助FreeWheel应对了在2秒内流量激增100倍的业务场景。其次,FreeWheel的业务创新能力显著提升,成功上线了多个新项目。第三,利用Amazon RDS和Amazon EBS的安全特性,FreeWheel可以轻松满足数据存储、加密等审计方面的需求。在广告预测业务方面,依托于Amazon SageMaker的分布式训练集群,模型的迭代周期大幅缩短,效果提升近1倍,同时,Spot Instance的使用也让团队节省了超过50%的资源使用成本,并提升了团队的运维效率。
提高安全性
由于FreeWheel的业务是全球化的,每个国家和地区都有着不同要求的数据安全标准和规定,因此FreeWheel需要在自身系统中满足各个地区的标准,才能在业界更好地开展业务。
FreeWheel服务的是全球顶级媒体,大家自然对数据安全的关注度颇高。因此FreeWheel在自身平台的数据方面做了相应的加密处理,无论是流动的数据还是落盘数据都会进行加密。由于MySQL在开源方面优秀,但是加密会相对较难,损失访问效率,因此,Freewheel采用了Amazon Aurora,亚马逊云科技会在存储层进行技术创新和优化,设置相关选项后底层数据加密就会形成,数据安全得到了相应的保障,同时不损失性能。
此外,FreeWheel技术人员介绍称,亚马逊云科技对于安全的考量非常多,FreeWheel与亚马逊云科技合作,通过洋葱法一层层进行安全方面的改进,定时扫描,在源头进行管控,第一时间杜绝安全隐患。
未来计划
对于未来的展望,马玉羚认为,系统的稳定性永远是FreeWheel的第一要素。如果FreeWheel系统宕机一秒钟,这一秒FreeWheel支持的全球电视和视频平台就没有广告进行播放了,损失是重大的。因此,FreeWheel的技术团队承担的压力也是非常大,系统的稳定性是关键,自动伸缩和跨区域的灾备也是FreeWheel必须要考虑的问题。
第二是生产效率,借助先进技术提高生产效率,使团队更加具有敏捷性,快速推出新产品和功能。
第三是数据驱动。FreeWheel需要使用数据来决定给谁投广告,决定自身的系统如何运营。因此,FreeWheel会处理更多的数据,利用AI和机器学习的方式,更好地预测、动态定价、系统监测等工作。
【51CTO原创稿件,合作站点转载请注明原文作者和出处为51CTO.com】