我们在工作中经常遇到的一个词,那就是“产品NPS调研”。当部分项目缺少专业的用研人员时,设计师、产品经理则经常会接受上级的要求,投身于NPS调研工作。
笔者也曾在2022年的某天突然接到一款产品年度NPS调研的任务。那么,NPS调研究竟该怎么做?下面将根据笔者的个人经历复盘,带领大家重温NPS的调研方法。
1、NPS基础知识
1.1 什么是NPS?
NPS的核心就是:调研用户对你产品的忠诚度。
1.2 NPS的计算规则
如何计算NPS值?我们一般通过询问用户“是否愿意向朋友推荐我们的产品和服务?”来获得评分,并根据评分将用户分为三类:
9~10分的是推荐者, 是产品忠实地用户;
7~8分的是被动者,他们很容易被竞品吸引走;
0~6分的是贬损者,他们更有可能去传播产品的负面信息。
NPS最终的分值等于“推荐者占比”减去“贬损者占比”。
2、设计NPS问卷
想要做NPS问卷调研,一定要确保它结果的科学合理性,这样才能在汇报时经得起别人的挑战。接下来我们来看一看需要注意哪些点。
2.1 问卷回收数量
2.1.1 需要回收多少问卷?
对于一次问卷调研,如果回收的数量太小,那么最终得到的评分也不足以客观的评价产品的真实体验。那么,我们需要回收多少份问卷才能够达标呢?
具体的详情规则就不一一细说了,感兴趣的童鞋可以去搜一下“样本数量计算”的相关资料。在样本的计算公式中需要我们填写3个数值,大家可以通过输入下面的数据快速计算出样本:
总体数量:也就是我们的用户总数,如果很大或者你不知道是多少时可以为空
置信水平:一般通用值填写95%
置信区间:一般通用值填写5%
通过以上公式计算出的样本数量,就是你本次问卷需要回收的最小数值。当时产品的用户体量为2W,那么问卷至少需要回收376份,才可以相对准确的保障本次问卷结论合理有效。
可是回顾这款产品历史问卷的回收量,居然没有一次的数量能够达标。那么,麻烦的问题又来了,我们该如何回收到376份问卷呢?
2.1.2 如何提升问卷回收量?
为了提升问卷回收量,我开始查找资料、咨询用研老师、对比历史问卷数据,寻找能够使问卷回收量达标的办法。
- 精简提炼问题,降低问卷跳出率
纵观历史数据,发现在前几次调研中,存在一个普遍的现象,就是问卷的跳出率一直很高,持续在70%~80%之间,是什么导致了这种情况呢?
最重要的一点就是:问卷的题目太多、内容过于复杂。用户点进问卷后,发现填写过于麻烦,便直接退出了。
所以问题的精简提炼是优化的第一步,结合产品2022年的大目标,剔除掉历史问卷中关联度较低的问题设置,逐渐将NPS的调研题目缩短至两题:NPS值评分&开放式反馈。
在精简至这一步的时候,我们也遭到了许多质疑:只有2两道题,能支撑起NPS的数据统计吗?
现在就来答疑解惑一下,按照NPS的问卷调研要求,核心问题必须具备三大块:“筛选目标用户、NPS评分&分支维度、补充型问题”。
首先,由于我们用的推送渠道是服务号,这基本就可以确定填写者都是产品的用户;问卷通过企业openID登陆,我们可以通过后台的用户使用频率进行筛选,既可以区分用户层级,又可以筛查出久未使用的用户问卷,所以“筛选目标用户”的题目便被后台处理所取代。
其次,我们将NPS的“分支维度题”&“补充型问题”作了结合,合并成一道针对NPS具体得分设置的三类评分用户各自专属的开放式反馈题:
9~10分的推荐者:感谢您的评分,您愿意推荐我们的主原因是什么?我们还有哪些需要改进的地方?
7~8分的被动者:我们在哪些方面优化会增强您推荐的意愿呢?
0~6分的贬损者:很抱歉给了您不好的体验,请问您不愿意推荐我们的原因是什么?
通过以上三条分支的后续追问,我们就可以得到”用户推荐的亮点”,“可优化的改进点”和“不满意的缺点“,便于接下来的分析与优化。
- 选择合适的推送渠道
完成问卷内容的制作之后,接下来就是推送渠道的选择。当前公司常见的问卷渠道有:站内信、应用banner、邮件、服务号等,选择一个曝光力度最大的渠道,会使关注到问卷邀约的用户大幅增加,那么回收率也会相应提升。
从不同渠道的问卷回收历史数据来看,服务号的曝光度是最大的,最近一次的服务号推送回收数据达到了180份。所以,本次的问卷发放渠道仍然选定服务号来完成,但180份这个数据值距离我们的目标还差得远,接下来则是调整推送时间。
- 选择干扰性较小的推送时间
选择一个合理且干扰性较小的时间段发出问卷邀约,用户才会更可能的接受本次调研。通过调研周围同事的工作习惯、以及询问其它产品服务号的反馈数据对比,我们得出了最佳的时间点:5:45PM。在此时间段的问卷邀约,会得到最大的反馈率。
增加奖品吸引,提升用户填写意愿
经过上述的优化调整之后,我们仍然在担心问卷能否回收到376这个数字。毕竟在大家日常生活及工作中,所接触到的信息干扰越来越多。对于各方产品投来的问卷邀请,测评邀约等,可能已很大程度上使用户形成了厌烦心理,这样的情况会导致用户遇到你的问卷推送时,大概率选择“无视”、甚至“取关”。
针对可能出现的这种情况,我们增加了关键的一项“刺激因素”:奖品吸引。通过奖品运营,让用户重拾填写的兴趣,增加问卷参与者。
2.2 问卷调研频率
除了问卷的回收数目要求之外,我们还需要注意问卷的调研频率。
产品在2022年度是按季度展开调研活动的,但是我们从中发现了一些问题。由于版本的发布时间不固定,按照季度来定期调研可能会导致新功能还未被用户充分体验的情况,不仅无法收获更多有效信息、浪费资源,还会使被调研者有一种“反馈不被重视”的感觉。
对此我们重新调整了调研频率规划,按照“版本覆盖率”&“反馈消化程度”来合理触发新一轮的NPS调研。确保每次调研的前提条件一定是上一个版本覆盖率高于70%,且上一次问卷反馈已基本处理完毕后,才可以开启下一次的调研。
3、NPS结论分析
经过上面的问卷优化调整,产品2022年度NPS的问卷回收数达到576份,达到了最小回收数376份的目标。接下来,最重要的阶段,则是如何通过回收到的问卷,来正确的分析出结果、提出关键性结论为产品提升质量了。那么我们该如何分析问卷数据呢?
3.1 过滤无效样本
回收问卷后的第一步,就是需要对问卷数据进行预处理,检查是否存在无效问卷、异常反馈等。例如:问卷题目大量漏填、相似答案过多、答题速度过快……这些问卷都应该被算作“无效样本”被作废处理。如果不做这一层数据清洗的准备,那么得到的结果就很容易被这些无效样本所影响。
产品曾经在2022年Q3的一次线下活动中发起了NPS问卷调研的邀请活动,并搭配上奖品奖励。但由于周围有很多其它公司内产品摊位都增设了奖品激励的内容,造成参与者产生“速战速决”的心态。问卷NPS值一度飙升至70+,却多为无效反馈,导致此次调研只能作废重来。
3.2 问卷数据分析
过筛掉“无效样本”后,接下来我们就需要对问卷数据进行具体分析了。
3.2.1 NPS得分
NPS的分值肯定会是大家最关心的数据,当这个数字出来之后,我们需要与历史值做一下对比,是提升还是下降,这将会是一个很直观的趋势对比。如果没有历史值比较,那就按照一个大致的区间评估范围:
低于0分:贬损者超过推荐者,用户满意度堪忧;
0~30分之间:产品不错,但仍有改进空间;
30~70分之间:产品在用户满意度方面做得很好;
高于70分:太棒了,你的大多数用户都是产品拥护者!
当然,我们不能仅凭一个分值去主观的断定该产品的好与坏,还需要关注该产品所在行业的均值。也就是各年度的行业净推荐值基准,将自己的分值与行业基准分数比较之后,才能得到一个更加客观的评分。
3.2.2 反馈数据整理
问题的分类整理是调研结论的核心工作,公司内部常用的问卷平台,例如:小易问卷、网易定位等,它们会帮助我们进行很多基础类的整理分类,这将会节省很多人力成本。
对于反馈梳理,我们也可以尝试不同的角度,来助力大家快速定位核心问题所在:
- 站在用户层面看反馈
站在不同用户群体的层面去看总反馈的占比,比如:问卷的全部用户、推荐者用户、被动者用户、贬损者用户;这四个用户群他们的高频关键字都是什么?
高频的负面反馈当然是团队未来需要投入优化的具体项;那么对于一些正面反馈,例如在问卷中,我们发现大量推荐者提到“VPN功能更加快捷、稳定”,这一点就可以成为我们未来增长、运营的发力点。可以通过VPN功能的宣传推广,吸引更多用户转化为产品的拥护者。
- 站在反馈层面看用户
查阅具体问题的用户占比是为了更快的抓住产品核心痛点与爽点,如果出现某一类问题明显在“某一类用户”占比偏大,那就需要格外关注了。
在调研中我们发现了用户反馈的“XXX问题”的“贬损者”占比超过80%,这就证明该问题一旦出现,用户大概率会直接放弃使用我们的产品,这一反馈是值得产品团队注意的痛点。
(3)用户后续跟进
完成了问卷的总结分析之后,这些数据还有进一步的利用价值。
通过NPS的反馈评论,结合产品后台用户行为数据分析,就能快速定位出那些对产品使用与调研具有强烈参与意愿的用户了,而他们就是产品珍贵的建议者。
我们要学会充分利用这些“珍贵用户”,大胆的邀请他们加入产品的后续互动:问题回访、用户访谈或者新功能内测体验等等……他们大概率不会拒绝我们的邀约,而且后续的互动会更加提升他们的参与感,为产品获得更多的拥护者。