在大型项目中,抖音集团如何“用活”数据?

大数据
本文主要介绍在大型项目中,抖音集团如何“用活”数据?经过十多年数据经验沉淀,从数据工坊、数据中台,字节跳动也衍生出数据飞轮模式。我们认为,在企业数据建设发展过程中,经历了从数据工坊、数据中台到数据飞轮的三个阶段。

一、理念升级:从数据中台到数据飞轮

当前,数据作为数字经济时代的关键生产要素,逐步融入生产生活各方面,去年国务院也发布了《关于构建数据基础制度更好发挥数据要素作用的意见》,且国家数据局于今年成立,进一步说明数据是新的生产要素,是基础性资源和战略性资源,也是重要生产力。

对于企业来说,随着互联网、大数据、人工智能等技术的快速发展,数字化转型也成为企业实现更快发展、降本增效的重要手段之一。数字化转型能够使企业更加高效、灵活和适应市场变化。通过利用先进的技术和数据分析,企业可以优化业务流程,提高生产效率,降低成本,并更好地满足客户需求,不仅有助于提升竞争力,还可以带来更多的商业机会和收入来源。

数据驱动,也是字节跳动的企业文化基因。据介绍,80% 的字节员工每天在通过各种各样的数据产品使用数据,进行数据消费。这其中既包括大家传统认知中的数据工程师、数据分析师这些需要直接和数据打交道的人,也包含产品、运营、市场,甚至行政、HR、UED 这些传统意义上离数据比较远的人。

经过十多年数据经验沉淀,从数据工坊、数据中台,字节跳动也衍生出数据飞轮模式。我们认为,在企业数据建设发展过程中,经历了从数据工坊、数据中台到数据飞轮的三个阶段。

  • 第一阶段:数据工坊,主要指在企业内各个子公司、子业务各自进行数据建设,形成数据孤岛,并且将导致数据处理效率低下,无法处理大规模数据。
  • 第二阶段:数据中台。这是一种集约化的数据管理方式,主要是通过构建统一的数据平台,实现数据的采集、存储、处理、分析和共享。数据中台可以有效地提高数据处理效率,降低成本,并提供更准确、更及时的数据支持。同时,数据中台的建设也需要大量的资金和技术支持,而且需要长时间得规划和实施。
  • 第三阶段:数据飞轮。数据飞轮是火山引擎提出的企业数智化升级新模式,强调“以数据消费促数据生产,以数据消费助业务发展”,通过“数据消费”这一出发点,转动企业业务应用层和数据资产层的两个飞轮

图片

企业大数据建设的三个阶段

数据飞轮与数据中台并不是完全替代的关系,而是继承和升级的关系。数据中台提供了企业所需的底层数据支持和数据处理能力,而数据飞轮则是在此基础上,指出数据消费的重要,并提供配套的便捷、易用的数据消费工具,帮助企业形成数据应用和业务价值提升的良性循环。

二、案例解读:大型赛事项目

无论是春节、双十一等节日事件,还是世界杯、冬奥会等大型赛事,抖音集团需要承接大量大型项目的需求。数据在其中的重要性不言自明,从决策层到一线员工,都需要依据数据来进行决策。

以赛事项目为例,业务团队以及运营人员在赛事运营、热点运营、直播间分析、资源投放等有大量数据消费的需求,基于数据BP的组织模式,数据流和业务流充分地融合,让处于业务流各个环节的不同角色,有充分机会使用到数据。同时由于数据研发治理、A/B 测试、CDP 等数据工具进一步降低使用门槛,推动业务层产生更多数据消费,进而产生飞轮效应,更好实现赛事项目的业务目标。特别是对于一些国民级的大型赛事来说,累计观看人次往往达到百亿级、累计活动参与人数千万级,涉及多端、多场景、多业务联动,对技术实力、组织效率、产品能力都是一次“严考”。

面对庞大的数据量级,在大型赛事项目上如何用好数据上,面临这两个问题:

  • 横跨大量需求方,如何实现组织协同?

大型活动的成功不仅仅依赖于技术团队的努力,还需要市场、运营、内容创作等多个部门的紧密合作,有的甚至需要协同公司内数 10 多个数据团队、协同百余位需求方。

  • 如何让组织协作方都能又快、又准、又全地使用数据?

例如,对于直播赛事,需要实时分析观众兴趣偏好等数据,以便为观众提供更好的观看体验和个性化推荐。这需要对大量实时数据进行快速、准确地分析和处理。

1、数据 BP 的组织协作模式

为了给用户提供更丰富观赛体验,大型赛事项目往往会针对比赛做大量创新,不仅仅有赛事运营中常见的积分榜、有奖预测等,更有实时的运营项目,比如赛事热点榜单、热门球星等等。除此之外,大型比赛也会涉及到多端同步直播。

丰富的赛事内容、运营活动以及多端联播,意味着赛事项目需要多业务线、多团队、多角色介入与合作,更意味着他们将产生复杂的看数、用数需求。比如,每个团队监测的数据指标不一致,对数据实效性需求不同,统计口径或埋点不一致,该如何满足?

字节跳动的数据 BP 机制则可以解决这一问题。数据 BP 来源于 HRBP(Human Resources Business Partner,人力资源业务合作伙伴),其职责是向上支撑不同类型的业务线,向下兼容数据平台底层的各项能力,具备对数据工具和引擎的高效使用能力。数据BP 作为数据平台与业务的桥梁,对业务直接输出平台已沉淀的能力,把业务场景方向反馈给中台建设,实现能力的动态互哺。

除此之外,为了能统一服务标准,数据BP还总结了一套服务评估体系,称之为“0987”:

  • 0 代表稳定性,即产生数据是否稳定。通常,SLA 破线的故障数要清零。
  • 9 代表需求满足程度。即要满足 90% 的业务数据需求。
  • 8 代表数仓构建情况,即数仓完善度。是否可以满足分析师查询覆盖率达到 80%,也就是说分析师查询日常数据都可以找到数据。
  • 7 代表用户满意度。通过 NPS 评估服务满意度不低于 70%。

另外,大型赛事更需要横向团队支持来保障数据质量。比如比赛产生的数据量特别大,上线前可能出现数据大面积延迟,数据 BP 则能根据情况灵活申请资源,上线前做整体监控及全面优化。除此之外,大型赛事也面临核心直播数据质量风险高的问题,通过上线前演练,数据 BP 团队最大程度模拟真实数据和场景,全面保障数据的可用性、准确性。

2、场景一:大型赛事中的实时数据分析

在大型赛事项目中,业务有非常多关于实时数据的需求反馈,例如直播间分析、专项看板、核心大屏等,实时数据能够帮助运营人员更快、更准确地制定或调整赛事运营策略,而“赛事运营资源投放“就是重要的实时需求之一。

为了最大化大赛覆盖面和影响力,项目组一般会根据赛事进程为每场比赛匹配广告投放资源。那么,在有限资源下,如何才能最大化广告投放效果,成为赛事运营团队考核的核心指标?运营团队需要找到投放时间、投放人群、投放量级等变量的最佳组合,这也需要通过实时数据看板辅助决策。

从用户的实时点击到最终呈现给赛事运营的一个个数字看板,背后涉及复杂的数据采集、加工等流转过程,其中技术难点在于对数据实效性要求高、更新频率高、准确性要求高。这主要依赖火山引擎大数据研发治理工具 DataLeap 来实现。DataLeap 具备实时全栈能力,涵盖数据采集、数据处理、运维管理、监控告警等全链路。

图片


数仓研发人员会基于 DataLeap 对不同任务进行分级,并匹配任务监控能力。如果该任务有延时,即被判断为高危任务,并把风险推送给相关人员,由此保障数据实时性。除此之外,火山引擎 DataLeap 还对 Flink 引擎进行深度优化,大幅度提升计算能力和计算性能,能让数据采集、加工等流程缩短到秒级,带来更快的数据响应,帮助赛事运营团队更好实现实时决策。通过 DataLeap 采集、加工的数据最终会通过数据中心展现给赛事运营团队,数据中心能提供一套标准化的看板能力,帮助赛事运营团队根据实时数据曲线来制定投放策略。

项目组会通过历史比赛数据来做赛前预判,当到计划投放的时间点或场景时,监控数据中心提供的 PCU、进房人数等实时数据趋势,来判断是否投入更多资源。如果数据趋势达不到预判趋势,就会投入资源。最终赛事运营团队也总结出一套投放策略——聚焦于开播、上下半场结束前 15min 的 pcu 高点这几个关键节点进行资源投放。

3、场景二:基于 A/B 测试的产品能力优化

如果有朋友细心,便会发现很多产品 app 首页对不同人的tab展现情况、时间、位置是不同的。这是基于大数据的能力,洞察用户偏好,根据数据分析进行精准推送。

为了获得更好的曝光,大型赛事往往也会在产品 APP 首页等关键位置上线推广资源。优质推广资源有限,如何才能最最大化推广资源价值,需要用科学、严谨的方法来评估,项目组主要通过 A/B 测试来解决这一问题。

图片

以赛事团队在 APP 首页的 tab 展现为例,项目组通过两个阶段的 A/B 测试,最终制定了最优的赛事展示方案。

阶段一:预赛期。由于这一阶段比赛还处于热度不断攀升的阶段,数据 BP 团队将 APP 用户分为“展现顶部 tab”和“不展现顶部 tab”两群人,根据经验初步判断,将赛事 tab 展现给兴趣度最高的一部分人群,能实现收益最大化。为了这部分展现人群,数据分析和数仓团队根据历史数据做人群分析,定位基本人群画像,通过客户数据平台 VeCDP 圈选人群,再导入 A/B 实验平台 DataTester,由数据分析师设计实验规则,命中实验规则的人群即可看到赛事 tab。

阶段二:比赛期。这一阶段,随着决赛名单出炉,赛事热度被推至顶峰,顶部 tab 也将被全量展现给 APP 用户。为了进一步平衡顶部 tab 带来的收益和影响,数据 BP 团队上线了“动态调整”能力。“动态调整”能力意味着,结合比赛进程、用户兴趣变化等因素,不同人在不同时间,看到顶部 tab 位置是不同的。而之所以能实现灵活调整,也离不开对 VeCDP 和 DataTester 的组合使用。

通过 VeCDP 圈选不同人群,再到 DataTester 建立不同对照组进行测试,并实时复盘,不断修正结果,具体而言,第一是做数据分析,比如通过 VeCDP 圈定的人群点击率到底有多少。第二是看活跃情况,例如,一个用户顶 tab 展现在第四个位置,即该 tab 是被隐藏起来的,因为前期判断该用户兴趣度不高。但比赛期间,赛事团队通过 DataTester 实验数据发现,他主动搜索赛事相关内容、或者手动把顶 tab 展现出来,我们则会认为他高活跃,把顶 tab 挪到第三个位置。

三、核心结论:数据飞轮,让数据活起来

反观大型赛事项目中的数据建设方式,我们主要可以总结如下几点:

第一:数据消费是数据飞轮的核心驱动力,也是企业数字化转型的核心。消费繁荣可以促进数据资产的建设,消费繁荣能促进业务的发展。这样企业的数据流就逐渐地跟业务能够进一步地融合,数据资产、业务应用,最终形成双飞轮的效应。

  • 提升决策效率:数据消费能够让业务在进行决策与运营的时候,更快、更有效。例如,大型赛事项目的运营同学会根据实时数据看板,来制定广告资源投放策略。基于这种实时的数据消费,能让决策更高效、更有效。
  • 驱动业务价值提升:一旦业务参与方发现借助频繁的数据消费能做出高效决策,并带来更好的业务价值后,会促生出更多、更频繁甚至延伸到更宽领域的消费。当数据消费盛行时,企业会加大在数据建设、数据治理和数据查询能力的投入,那么飞轮的转动便会推动数据在各个应用场景的快速渗透,并促进数据消费。
第二:产品普惠,数据产品做得足够简单易用,需要尽量少的专业知识,降低使用门槛。例如,为了确保数据产出的及时性,赛事项目的研发人员会基于 DataLeap 对不同任务进行分级,并匹配任务监控能力。如果该任务有延时,即被判断为高危任务,并把风险推送给相关人员,自动化监控的能力则能降低使用产品门槛。

除此之外,我们也在推动数据飞轮与 AI 能力结合,进一步降低用户的使用门槛。例如,DataWind 找数助手,可以使用自然语言问答的方式来检索多种数据源,包括数据集、数据指标维度、业务知识库等,并做出拟人化的总结响应。在这种交互过程中,大语言模型可以更好地理解用户的真实意图,让“找数”本身的成本变得非常的低。另外,DataLeap 开发助手能够降低编程语言带来的障碍和门槛,一方面让不精通 SQL 语法的人也可以做简单的数据开发工作;另一个方面,让特别专业的数据研发人员从大量繁杂的需求中解放出来,更聚焦在复杂场景中。

第三:资产运营,即实现数据资产的可治理、可落地和可运营。通过制定明确的数据治理策略、规划实施计划、加强元数据管理和优化数据湖资源管理,我们实现了对数据的全面管理和有效利用,为企业的发展提供了有力的支持。

例如,在大型赛事项目中,为了确保数据的质量、一致性和可用性,通过数据BP的组织模式,对各个团队的指标口径进行统一,并通过数据研发治理平台等产品,制定明确的数据治理策略,不仅保证在后续的数据分析和决策中得到准确的结果,还可以确保数据的合规性和安全性,避免数据泄露和滥用。

数据驱动已经成为数字化转型中企业的基本认知,但是如何“用活”数据,进一步提升企业活力,还需要持续、长期探索。

责任编辑:姜华 来源: DataFunTalk
相关推荐

2019-12-16 11:16:22

Git子模块项目

2015-08-31 10:11:43

iOS大项目开发

2015-08-26 10:36:32

ios开发漫谈

2021-05-12 08:54:56

FastAP web 框架数据库操作

2023-03-28 08:28:34

2022-01-22 07:44:12

抖音PC 版电脑刷抖音

2024-11-13 08:47:24

2022-03-14 10:24:31

编程语言开发

2023-11-03 17:02:18

抖音直播画质优化

2024-10-31 08:22:56

2024-02-21 09:32:18

开发架构

2020-08-06 10:09:08

抖音木马安全隐私

2019-10-10 10:30:26

MVCModelController

2021-01-13 09:34:45

项目Gson框架

2012-04-01 15:03:39

大型项目开发者

2021-01-26 05:39:06

项目模块代码

2023-12-21 08:51:37

防抖节流Vue.js

2023-09-07 17:11:07

画质评估工具

2009-04-07 09:12:35

敏捷新手入门大型开发
点赞
收藏

51CTO技术栈公众号