本文转载自微信公众号「巡山猫说数据」，作者巡山猫。转载本文请联系巡山猫说数据公众号。
你好，这里是巡山猫编辑部，我是巡山猫。
我们经常遇到产品需要加一个新功能，当功能上线后，产品经理总会找我们建立指标体系，分析相关产品效果。
那么问题来了：我们应从哪几个角度去入手，才能更好地评估一个功能的具体效果呢?
整体来说，需要从三个层次来度量产品效果：
- 从大盘出发，度量该功能对整体产品的一个贡献
- 从产品本身出发，分析产品本身的效果
- 从技术层面出发，为了保证技术层面的服务不受影响，建立护栏指标
大盘贡献
首先要明确，我们做一个产品，或者说页面/功能时，我们一定有一个明确的业务目标，是提升用户在产品上的什么效果。
比如我们在京东中增加了秒杀板块，是为了让用户感受到某些产品更便宜，从而提升用户的购买次数，从而提升整体的 GMV。
所有的这些功能，我们都需要有一些明确的指标来衡量，产品对大盘的贡献。最基础的就是这个功能的 UV 在大盘中的占比。
但是这只是纵向的贡献，我们还要从横向上来度量对大盘的贡献，也就是我们要基于这个功能的核心目的(如搜索次数、被查看次数、GMV等)，建立与大盘上该指标的联系，才能更好地衡量该功能对大盘的贡献。
切忌不要张口就说，提升用户满意度。
首先，什么是满意度，我们没有一个明确的指标来度量，因为用户满意度是使用次数增加还是停留时间增加?或者是后期的留存率提升?无法定义就无法度量。
其次，我们没有定义出什么是满意度，没有具体的指标映射到产品上，我们如何去做产品迭代?
所以，我们在大盘贡献这一层，要基于功能的目标，非常清晰地构建与大盘的联系，这个联系一定是某些可度量的指标上的联系。
比如：
UV上的指标，与大盘的联系可以是 UV 渗透率
PV 上的指标的联系可以是 PV 占比
停留时长上的联系可以是该功能的停留时长在整体 App 停留时长上的占比
功能效果
整理完对大盘的贡献，我们还需要评估项目本身。
那一般来说，一个功能的效果该从哪些角度来评估呢?我们来看下面这个图
从图中我们可以看到，当一个功能被增加，那一定会在用户的使用链路上体现出来。 那相应地，纵向的指标就很好确定了：当前功能的 UV、PV，对比上一层的漏斗(渗透率)以及留存率相关的指标。 横向指标又需要哪些呢?从图中我们可以看到，一个功能从开始使用到使用完成，经过的过程是进入该功能→在功能中停留、点击、消费、跳转→最后又退出该功能。 那相应的功能指标也需要将这一些动作包含进去。比如常见页面的 CTR、页面停留时长、页面跳出率等。 这里的目的是度量出用户在整体功能中的操作的步骤，查看用户的消费情况。
整体说下来，关于功能本身的效果评估，我们可以：纵向上度量功能本身的流量的大小和留存的情况;横向上去根据整体功能的操作路径，建立功能上的消费指标。 横向和纵向结合，就能比较清楚地了解当前功能的效果。
护栏指标
可能看到 “护栏指标” 这几个字会比较懵，会疑惑什么是护栏指标。
这个通俗来说，是一种对效果评估补充的服务层指标。
举个例子，我们上线了某功能，但是该功能占用的服务器内存特别大，虽然功能效果很好，但是经常会导致 App 白屏或者崩溃。
这时候，我们就需要从服务器层面，去监控比如“XX失败率”这样的指标。而这些指标就是护栏指标。
护栏指标的意义在于，我们不仅能从大盘贡献和功能效果层面去评估某个功能的价值，还可以从服务层面保证用户的体验没有下降(比如打开某页面等待时长没有从 1s 上涨至 5s)。
因为往往很多时候，功能有没有效果还不是那么重要，如果我们从最直接的交互上损害了用户的体验而导致用户流失，反而是最得不偿失的。
但是也不需要紧张，并不是所有页面和功能都需要护栏指标。
比如常见视频的播放、页面的加载、活动的下发，这几种往往需要监控一些失败率及大盘上的加载效率。而一些小功能的添加，我们就监控一下最基础的页面白屏率就可以了。
总结
综合以上的三个层次，我们可以总结出来，当一个新功能需要评估时，我们可以按照以下步骤来进行评估。
1、确定功能目标
确定所需要度量的功能的目标是什么，是做一个活动页面短期刺激用户量，还是做一个功能长期提升用户留存率。这个其实就是最基础的两个目的，我们也可以从这两个目的出发，开始我们的第二个步骤。
2、梳理整体指标
上文我们说到，评估功能需要有三个层次去考虑。
第一：从大盘的角度出发，根据当前功能的核心目的，建立当前功能与大盘的联系，拆解出对大盘指标的贡献;
第二：从功能本身出发，纵向查看功能流量，横向度量功能消费情况;
第三：从服务层面出发，保证用户在一系列的交互使用上体感良好。
这也就是第二步梳理整体指标。
3、对比功能效果
最后，我们建立了度量的指标，整体有了量化的标准。还需要一件事：对比。
没有对比就没有结论，我们可以用当前使用该功能的用户对比未使用该功能的用户，或者用当前功能的数据对比类似功能的数据效果。当然我们如果能拿到竞品数据，对比竞品数据更好了。
