近日,得到(天津)文化传播有限公司与火山引擎数智平台VeDI达成合作,双方将聚焦在IDC上云展开系列协作。
得到是国内在线教育/音视频内容的头部企业,旗下有得到课程、得到高研院、职场训练、听书、电子书、图书等多个业务线,APP内容业态覆盖PCG、UGC等多种方向。
Cloudera CDH是得到的底层大数据基座之一,由于本地数据中心CDH服务器规格陈旧且维保到期,CDH社区开源免费版本停止更新,结合云计算弹性扩容、按需使用、按量付费等多优点,得到将目光转移至云上,并开始寻求迁移上云的最优方案。
这时,火山引擎数智平台VeDI进入得到视野。湖仓一体分析服务 LAS、大数据研发治理套件DataLeap是火山引擎数智平台VeDI旗下的两款核心数据产品,能让迁移上云的解决方案更低成本、更高效率、更高安全性,因而成为得到的首选。
得到与火山引擎数智平台VeDI全景合作方案
针对得到“高效率、高性价比”上云的诉求,LAS基于云原生、Serverless 的理念,降低了用户对复杂基础架构的使用门槛,免去基础设施的运维管理工作,实现开箱即用,有效的降低IT资源和运维管理成本。LAS的冷热存储能力,使得到存储成本再一次获得优化。
不仅做到成本极致优化,LAS也为得到输出一套“提效”方案。一方面,相比于原有的CDH,LAS在性能上有大幅提升,在同样数据集、SQL的情况下,执行时间和CPU使用量上都大大缩小;另一方面,LAS具备全托管的能力,能提供弹性伸缩、高可靠、高性能、安全隔离的部署环境,支持独享队列和共享队列资源调度,帮助得到进一步解决IDC集群无法弹性伸缩的问题,并提升资源使用效率。
得到App大数据负责人高元胜介绍,“从传统离线数仓到云原生湖仓,是一件极其有挑战的事情,火山引擎LAS帮助得到升级到业界先进的技术架构,使得到的大数据基建实现至少3年的技术跨越”。
“上云”之后,火山引擎LAS先进的湖仓架构结合DataLeap基线监控、数据质量、 SLA治理等全生命周期的数据治理能力,得到还能实现生产环境离线链路在未来升级为准实时链路,提升实时分析决策能力。
火山引擎LAS和DataLeap的组合使用,尽可能缩短得到上云的迁移时间,降低原有业务改造成本,实现本地数据中心平滑上云。
为了进一步降低人工成本,火山引擎数智平台团队还配备了10+全套的自动化迁移工具,涵盖数据集成、元数据、质量监控等全流程,大幅度降低人工操作成本,实现80%的自动化搬迁,让整个迁移过程更加智能化。
高元胜进一步解释自动化“上云”带来的收益,“不仅能大大降低人力投入,让我们的数据人员保持更多精力投入业务生产,更能显著降低上云事故概率”。
早在2022年,得到与火山引擎数智平台VeDI已围绕数据治理、数据精细化运营等层面展开合作,并通过引入字节跳动独有的数据BP机制、客户数据平台VeCDP等产品,为得到补齐基建能力、建立体系化的数据建设方法,此次合作则进一步夯实得到的大数据能力,为更好“用数”提供坚实的底座。(作者:黄英)