一、数据埋点的应用场景
数据埋点可以记录用户的被动行为和主动行为,对用户行为的各种数据进行统计和分析。
1.数据埋点的作用
对于互联网公司来说,数据埋点有着多方面的实际作用,包括但不限于以下这些。
- 了解和跟踪数据的总体情况:PV 、UV 、曝光点击数、用户数、会员数、复购率等。
- 用户行为分析:用户的使用习惯、用户的决策路径、用户使用产品的热 力图分布等。
- 掌握产品的变化趋势:产品每日流量、产品所处的生命周期,以及电商 大促活动前后一周、两周的数据变化趋势等。
- 数据形成反馈,用于产品迭代:用户行为的转化漏斗,基于用户行为 (浏览、点击、关注、收藏、加购、评论、分享)、商品、店铺、品类、 大促活动等的转化率。
2.后端数据埋点的分类
按照统计数据的不同,后端数据埋点分为曝光埋点、点击埋点和页面事件。
1)曝光埋点
页面曝光是为了统计各业务端(App、内嵌 H5 、PC 、WAP、微信小程序) 内的页面局部区域是否被用户有效浏览,比如淘宝App 首页联版、微信朋友圈 露出的广告资源位、抖音 App 的开屏页等。
要衡量页面各区域用户的点击率,需要先弄清楚各个区域分别被多少用户 看到过。一个区域每被用户看到一次,就可以记为一个曝光事件。有了曝光, 才会有用户点击行为。对于页面曝光需要单独埋点,即页面曝光埋点。
进行曝光埋点时需要获悉以下两点。
- 曝光统计逻辑。同一用户上下滑动页面只算一次曝光,不会重复统计。如果用户在浏览时页面重新请求接口 , 认为用户浏览的区域发生了替换, 则会重复统计用户的曝光。(这是数据采集时统计曝光的逻辑,与客户端 按照请求次数来统计有所不同。)
- 曝光统计标准。曝光统计并无一致的标准,各家公司要求不同。在页 面曝光的区域大小上,一般来说, App 、WAP 等终端露出 100px (不到1cm )就算曝光了;在页面曝光的停留时间上,以笔者的经历来看, 10s 甚至 15s 的用户停留时长才算曝光。用户曝光是用户的被动行为。
2 )点击埋点
用户在各应用内的任意一次点击都可以记为一次点击行为。比如,购物车 的点击、微信朋友圈的点击、图片的点击等都可以记为一次页面点击。区别于被动的用户曝光行为,用户点击是主动行为。对页面点击进行单独埋点就是页 面点击埋点。
我们可以通过用户行为得到点击 PV 、点击 UV,也可以通过页面曝光和页面点击计算出页面各个区域的点击率(点击率 = 页面点击数 / 页面曝光数)。
3 )页面事件
页面事件通常指对页面各种维度的信息的统计,常见的有当前页面URL、 用户账号等。事件往往通过页面各个参数进行透传并最终落表。
页面事件统计的信息通常包括以下几部分。
- 用户来访设备信息:用户设备标识码、浏览器版本、浏览所用的终端、 站点编码、屏幕分辨率等。
- 当前页面访问信息:用户账号、用户会员编码、当前页面 URL、用户访问 时间、上次访问时间、访问时长、页面停留时间、用户退出页面时间等。
- 页面来源信息:广告来源、上一页面 URL 等。
- 页面去向信息:去向页 URL 、去向页标题等。
- 商品信息:商品编码、供应商编码、店铺编码、商品名称、商铺名称等。
二、数据埋点的工作流程
日常工作中数据埋点的完整工作流程,它既有流程图,也有数据埋点的需求,涉及项目需求(含产品经理自提需求)的承接、评审、跟进、上线 以及项目复盘的各个业务环节。
1.数据埋点的流程图
数据埋点工作是以数据产品为核心来推动的。数据产品经理负责数据埋点的整体工作, 包括验证数据埋点的质量、判断数据埋点的准确性(包括日常工作 中上线的数据埋点的准确性)等。一般的数据埋点需求关联的工作人员如下(另外还有部分需求会涉及数据采集、数据仓库), 其工作流程会在本节的流程图中体现。
- 业务方:页面运营人员、产品运营人员。
- 数据产品线:数据产品经理、数据产品测试人员。
- 广告产品线:广告产品线产品经理。
- 页面产品线:页面产品经理、页面测试人员、页面前端开发人员。
互联网公司的点击埋点、曝光埋点的协作流程图如下图所示。
▲图 点击埋点、曝光埋点的协作流程
2、数据埋点的日常流程
1)提出埋点需求
运营人员提出埋点需求:不仅涉及埋点的位置,比如App 的开屏页、App 首页联版、App 首页 banner 位,还涉及需要埋点的终端,比如有的埋点需求只 需要进行 App 端的埋点,而有的埋点需求需要进行 App 端、微信小程序、 WAP 端等多端的埋点。
产品经理自提埋点需求:数据产品经理在进行竞品分析及日常使用产品时, 也会根据业务情况提出埋点需求。
2)梳理埋点需求,整理埋点方案
不同终端(App、内嵌 H5 、PC 、WAP 、微信小程序等)的埋点方案各不相 同,通常至少需要包括以下几点。
- 埋点的位置:需要添加埋点的位置,比如登录页上的按钮、页面底部导 航、搜索结果页等。
- 埋点的参数:用户浏览、点击的页面位置需要通过前端页面开发埋入的 参数, 比如页面编码、模块编码、区位编码、商品编码、店铺编码、页 面特殊参数等。每个位置的埋点必须是全站唯一的,不能重复。
- 终端类型:对各终端进行约定,表示终端的标识。比如,约定App终端 为数字 1, WAP终端是数字 2,等等。
- 模板名称:需要埋点的页面的模块位置、页面的模板名称。例如,模块 位置 —App 首页轮播 banner,模块名称 — 轮播 banner 位第二个资 源位。
数据产品经理需要将自己整理的数据埋点方案与业务方、前端开发人员核 对,以确保埋点方案可行。
3)需求评审,埋点文档评审
数据产品经理写出数据埋点需求文档,列出埋点位置、埋点所需的参数、 涉及的埋点终端、埋点需要调用的接口、埋点是否需要异步触发、本次埋点需求期望的上线日期和联调日期等。
埋点需求评审的参与人员有业务线产品经理、数据产品经理、页面产品经理、前端开发人员、测试人员、业务线开发人员、数据开发人员。在必要时, 比如新增埋点的产品类型时,还需要与数据采集人员、数据仓库管理人员沟通数据埋点需求。
4)埋点开发阶段
前端开发人员需要根据埋点需求进行埋点开发,实现相应的曝光埋点、点 击埋点、埋入页面参数、异步触发请求(对于广告等埋点需求,在点击埋点关联到广告扣费结算时,需要再触发一次请求)。
5)埋点联调测试阶段
埋点开发结束后,进入埋点联调测试阶段。在联调测试阶段,需要在测试 环境下验证曝光埋点和点击埋点是否正确、埋点的参数是否有遗漏或错误。
6)埋点上线
埋点测试验证通过后,将埋点按照约定的日期上线。上线时同样需要测试。在生产环境下,可以下订单来验证订单归因(简单来说, 订单归因就是通过订单 能否验证订单的来源、来源对应的埋点位置)。
7)埋点需求复盘
埋点上线后,及时更新埋点验证情况,列出每期上线的埋点及需求内容。总结在每期埋点项目中遇到的问题,这样后面在推进新的埋点需求的过程中可以少踩一些坑。
8)埋点数据统计与用户行为分析
部分公司会开发数据埋点平台,这些平台会按天、按周、按月对每个数据 埋点进行数据统计;可以对同一个位置进行曝光埋点、点击埋点和页面事件的同比、环比趋势对比,比如淘宝App 首页在 618、双 11等大促活动的趋势对 比;可以根据埋点数据做用户增长,提升用户留存率,比如根据淘宝App 商品 四级页的点击到达率来分析用户在之前哪个环节跳出。
三、数据“七字诀”
经过大量的埋点需求项目实践,笔者总结出埋点的七个要点,简称“七字 诀”(对应上图所示的点击埋点、曝光埋点协作流程)。
- 位:埋点的位置。
- 埋 :埋点规范对接,前端开发埋点。
- 时 :开发进行埋点后的联调时间、上线时间。
- 测:埋点在联调、上线时测试。
- 传:埋点测试通过后传的参数,埋点传参经过数据采集、数据仓库(对 部分字段进行解析)。
- 表:埋 点经过数 据采集、 数据仓库 传参后 落表,为实 时或离线 的 Hive 表。
- 统:埋点验证成功后的统计。
关于埋点需求实战案例、埋点规范样例与测试样例,更多精彩内容推荐阅读《数据产品经理:解决方案与案例分析》。