12 | 制定产品成功指标

May 17, 2018

12 | 制定产品成功指标-极客时间



下载APP





关闭

讲堂部落提薪训练营云原生训练营架构实战营企业版极客商城兑换中心 App下载浏览器插件

渠道合作

推荐作者

12 | 制定产品成功指标

2018-05-17 曲晓音来自北京

《硅谷产品实战36讲》

课程介绍



讲述：丁婵

时长10:39大小5.27M



约翰 · 道尔（John Doerr）是硅谷最牛的风险投资人，是谷歌、亚马逊、网景、升阳电脑等公司的早期投资人，更在 1999 年投资谷歌时，教给了创始人成功指标（OKR）的概念，帮助谷歌达到了今天的高度。2018 年 4 月，他出了一本叫作《以你在乎的作为衡量指标》（Measure What Matters）的书，专门讲成功指标这件事。
他在书中指出：指标是为了定义你想要完成的目标，需要表达清楚在什么期限之内、要达到什么具体的、可衡量的结果。 换句话来说，一个好的指标应该是像“2018 年底之前实现 100 万日活”这样的，而“让用户多花时间在 APP 上”、“争取用户规模达到 100 万”都因为缺少了关键信息不能算是一个好指标。
我们经常会说，作为一个产品经理，当你确定了正确的成功指标，你就成功了一半。
比如，你是电商，你的成功指标应该是下单用户数，而不是总的用户数量。因为，你可以让大家下载 APP 抽奖赢取福利，但是大家下载后并没有下单，那最后即使你成功积攒了千万用户这个公司也依旧无法做下去。因此，制定了错误的成功指标，进而导致了后续的产品策略失误，最终的结果就是产品的失败。
假设微信朋友圈的成功指标是，用户在微信朋友圈花的时间。为了达成这个目标，微信向你推送了更多花时间的内容（例如，文章、视频），却减少了你所关注的朋友发的文字状态或者图片内容。这样看似增加了你在微信朋友圈花的时间，但是却忽略了你使用朋友圈的目的是和朋友互动。
那么，当你的需求得不到满足时，你就会减少在微信朋友圈花费的时间，甚至放弃微信朋友圈，所以单纯采用用户花费的时间多少作为成功指标最终起到了反作用。这也恰恰说明了产品的成功指标要和实现的用户需求相契合。
其实，有的时候产品所要满足的用户需求并没有改变，只是产品阶段不同指标也会不一样，那么你应该怎么判断制定的指标是否正确，又怎么用指标作出产品决定呢？
接下来，我用这个微信朋友圈添加新功能的例子来跟你解释这个问题。
案例： 如果你是微信朋友圈的产品经理，现在你要在朋友圈加一个可以用表情包评论的功能，你需要通过制定这个功能的成功指标、进行 A/B 测试，来确定这个功能到底值不值得发布？
首先，明确产品的成功指标是什么。第一步，弄清楚整个产品的最高目标。
如果我是微信朋友圈的产品经理，我会从微信的核心指标开始，毕竟朋友圈是微信的一个功能。假设微信的核心指标就是用户的活跃程度，包括用户评论、分享、发消息、发图片等用户行为。
这实际上是一个非常复杂的指标，需要考虑每项用户行为的权重，比如评论相当于几分、分享相当于几分。假设，我们已经通过用户数据、调研等方式确定了这个衡量指标是： 用户的总活跃分 = 评论×1 + 分享×0.5 + 发消息× 1。
朋友圈的设计初衷也是希望用户通过这个平台分享自己的生活、增加朋友间的互动，以此来增加用户的活跃程度，从而提升整个微信的总活跃分。
第二步，思考你的产品功能还有哪些指标需要注意。
我们已经明确了朋友圈的核心目的是为了提升微信用户的活跃度，增加微信的总活跃分。另外，微信朋友圈正计划增加在用户发的状态间穿插广告的功能，即每隔几个状态就穿插一条广告，所以我们希望用户可以多刷几条朋友状态，以提高穿插广告的曝光量，所以用户浏览朋友状态的数量也是一个指标。
第三步，思考新功能可以解决的问题和上面列出的几个指标有什么关系。
比如，在朋友圈加了一个可以用表情包评论的功能，以降低朋友间互动的门槛，帮助用户更方便地发表评论。
通过表情包评论的功能，发表评论的用户可以通过一个有意思的表情，表达用文字无法传达的情感，这对他们来说意义非凡。
而对于发表状态的用户来说，以前一条状态可能只有两条文字评论，但现在因为表情包降低了回复门槛，评论数增加到 10 条甚至更多了。这样，发表状态的用户会感觉到朋友们都很关注他，这也会激发他再次发状态的激情，最后的结果就是增加了微信的总活跃分。
第四，思考反指标是什么。
反指标（counter metrics）是指你的产品带来的负面影响。 假设微信还会对朋友圈的内容质量打分，那么这个使用表情包评论功能的反指标就是降低了朋友圈内容质量分数。
因为以前大家使用纯文字交流时，都比较“走心”，交流的内容也很有深度，而现在几个简简单单的暴走漫画、卖萌表情就可以代替语言， 反而让交流流于表面，丧失了原本的厚重感，所以就会降低整个朋友圈的内容质量分数。
通过对成功指标的分析， 我们明确了这个新功能的成功指标和反指标：
成功指标是：提升微信的总活跃分和用户每天浏览朋友状态的数量；
反指标是：降低了朋友圈内容质量分。
然后，进行 A/B 测试验证新功能对产品的影响。我们设置了实验组和对照组，实验组增加了这个功能，而对照组没有，其他条件一样，然后观察两组成功指标和反指标的变化情况。
如果实验组的成功指标增加显著，而且反指标被控制住了，说明这个功能起到了我们想要的效果。
一般情况下， 我们会设定一个指标提升的具体目标，比如 5%，这个量化标准是非常重要的。如果新增加的功能对成功指标的提升低于这个目标，那这个新功能是不能算作成功的，是没有必要添加的。
比如，我们花了两个月的时间只提升了 0.1%，那么就应该认真考虑有没有必要继续花 1 个月优化这个功能。这时，我们通过数据分析和估算发现，继续优化这个功能并不能达到提升 5% 的目标，那后续的优化就根本不值得了，需要当机立断砍掉这个功能。
这里需要注意两个问题:
如果你的产品有多个指标想要提升，你需要将这些指标按照重要性进行排序，方便出现问题时权衡取舍。
以微信朋友圈添加表情包评论功能为例，通过分析已经明确了成功指标和反指标，如果你的测试结果发现，成功指标中的微信总活跃分下降了、用户每天浏览朋友圈状态的数量增加了，那你应该怎么权衡取舍呢？
一般情况下，我们会确保新添加的功能不会影响整个产品的总指标，选择放弃这个新功能。但是，这个案例并没有这么简单，因为我们的假设是：广告穿插在朋友圈的状态之间，用户浏览朋友状态的数量增加了，也就意味着用户浏览的广告数量增加了，那无疑将会带来更多的广告收入。所以，这在这个案例里面，产品经理需要权衡是整个产品的成功指标重要，还是通过广告获取更多的利润更重要。
往往这样的决定已经超出了产品经理所能处理的范围，需要公司最高级别的领导来决策了。公司高层可能会说，我们现在的收入一直上不去、股票大跌，我们必须赶快扭亏为盈，那广告带来的收入就更重要了；公司高层还可能会说，我们要以用户为第一原则，不能为了短期利益损害用户的信任，那整个产品的总指标就更重要了。当然，如果你是创业公司 CEO，这样的决定就需要你自己做了。
A/B 测试的时间需要根据具体的产品情况而定，过短的测试时间得到的指标不具有稳定性，需要等数据稳定后再做决定。
比如表情包评论的功能， 可能大家一开始因为新鲜使用频率比较高，各项指标都非常好看； 但是过几天用户发现朋友圈的评论全都是各种表情包，并没有实质内容和有价值的讨论，所以逐渐丧失了兴趣，导致指标大跌。那就需要延长 A/B 测试的时间，等指标稳定后再做决定。
总结今天这篇文章我以微信朋友圈添加使用表情包评论的功能，跟你分享了制定产品成功指标大致可以分为 4 步：
明确整个产品的最高目标；
思考这个新功能的小指标有哪些；
明确这个功能是如何提升整个产品的总指标和小指标的；
明确反指标是什么。
确定了产品的成功指标后，需要进行 A/B 测试，这里还有两个问题需要注意：
在指标之间进行权衡取舍；
要注意 A/B 测试的时间，需要等数据稳定后再做决定。
思考题如果你是抖音的产品经理，现在想加一个加强版的美颜功能，你应该如何制定产品的成功指标？欢迎你给我留言。

分享给需要的人，Ta购买本课程，你将得18元

生成海报并分享

赞 12

提建议

11 | 案例：产品发布之前出了乱子，如何权衡取舍？

13 | 如何撰写产品需求文档？

 写留言

精选留言(36)

Yanel 说敏捷产品
2018-08-07
1.抖音的最高目标（用户活跃、停留时间、留存）用户的总活跃度=观看者*1+UGC*1+评论*0.5 2.新功能的小指标增加UGC生产数量 3.加强版美颜功一方面刺激生产用户的活跃度，另一方面也增加了美感，提高了观看者浏览数量增加UGC数量带动观看者数量，从而增加评论者数量 4.反指标过分不真实、趋于同质化导致观看用户反感
展开
共 1 条评论
22
酥
2018-05-17
希望作者可以讲一下 to b 的产品，面临客户定制化严重的情况，应该如何去做需求分析，如何说服自己的领导，客户，有没有方法论可以参考，多谢🙏🏻
作者回复: to b 要考虑客户的重要程度，重点是哪些功能要是没有客户打死也不干就会丧失这个客户损失了多少钱。所以同样的方式也适用。但是具体权衡取舍的准绳却改变了
21
肖志鹏
2018-06-28
指标提升5%,是怎么得出来的
7
向哲
2019-10-01
如果我是的话，会通过增加加强版美颜功能，降低分享的门槛和提升短视频质量，让更多人参与到内容创作中来，使内容更加多样，满足不同类型用户的需求，增加平台的活跃度 1、明确整个产品的最高目标：用户的总活跃分（点赞+评论+分享） 2、思考这个新功能的小指标有哪些：内容发布率、用户活跃度、用户停留时长、用户留存、粉丝关注和商家营收变化 3、明确这个功能是如何提升整个产品的总指标和小指标的；内容传播相关环节：内容制作、发布、传播、观看、粉丝关注和获利内容发布率：技术门槛降低，用户制作视频的成本降低，效率提升，内容制作会更快。用户活跃度、用户停留时长变化、用户留存、粉丝关注和商家营收变化：内容多样性和质量的提升，会加强部分用户的粘度。 4、明确反指标是什么：内容质量分降低，内容过度注重修饰，忽略内容制作。老创作者流失率增加，技术门槛降低，老创作者的粉丝被分流，创作积极性受到打击。
展开
6
徐东鹏～种下一朵太阳...
2018-05-22
我一直反对公司使用kpi对产品经理考核，对于创新型岗位我推崇使用okr。在某个阶段解决某种问题，并拆分出需要达到的量化指标，这比死板的kpi考核更灵活，切挑战性很强。对于非强运营的产品，产品的好与坏确实受产品自身定位及功能的合理性影响很大。某项功能的量化指标，根据历史数据很容易制定的。如注册登录转化率、下单支付转化等。东方哲学讲究阴阳调和，看到“反指标”眼前一亮，之前确有考虑过某个功能可能的负面影响，但未曾量化分析过，产品也需要平衡。我不玩抖音，参考Instagram滤镜产生的影响，加强版的滤镜会在滤镜使用率、发布视频数量上有所提升。产生的负面影响是大量加滤镜视频发布降低内容质量（强调展示美，内容无趣）。具体指标量化需要有数据支持，暂时无法给出。
展开
作者回复: 嗯我们平时有很多指标和反指标所以真正能发布产品可不是一件容易事儿哈哈
6
Yanel 说敏捷产品
2018-07-27
1.抖音的最高目标（用户活跃、停留时间、留存）用户的总活跃度=观看者*1+UGC*1+评论*0.5 2.新功能的小指标增加UGC生产数量 3.加强版美颜功一方面刺激生产用户的活跃度，另一方面也增加了美感，提高了观看者浏览数量增加UGC数量带动观看者数量，从而增加评论者数量 4.反指标过分不真实、趋于同质化导致观看用户反感
展开
4
东霸tua
2018-05-17
反指标不是很理解，例如例子内容质量是怎么评判的
作者回复: 质量分。比如你可以看用户举报内容比例。如果5%的内容被举报，质量就很不好。
3
Weehua
2020-02-25
这讲真的太好了，我们作为一个技术leader，发现这些做产品的原则对于工作来说非常重要。我们的产品几乎不会考虑这些问题。赞！
2
向哲
2019-10-01
通过增加加强版美颜功能，降低分享的门槛和提升短视频质量，让更多人参与到内容创作中来，使内容更加多样，满足不同类型用户的需求，增加平台的活跃度 1、明确整个产品的最高目标：用户的总活跃分（点赞+评论+分享） 2、思考这个新功能的小指标有哪些：内容发布率、用户活跃度、用户停留时长、用户留存、粉丝关注和商家营收变化 3、明确这个功能是如何提升整个产品的总指标和小指标的；内容传播相关环节：内容制作、发布、传播、观看、粉丝关注和获利内容发布率：技术门槛降低，用户制作视频的成本降低，效率提升，内容制作会更快。用户活跃度、用户停留时长变化、用户留存、粉丝关注和商家营收变化：内容多样性和质量的提升，会加强部分用户的粘度。 4、明确反指标是什么：内容质量分降低，内容过度注重修饰，忽略内容制作。老创作者流失率增加，技术门槛降低，老创作者的粉丝被分流，创作积极性受到打击。
展开
2
Leo
2018-05-29
老师，有个问题想请教一下，关于给指标提升一个量化标准，请问是通过哪些方法去制定这个系数的呢？在文中的5%是如何得到的呢？同样的，对于反向指标，是不是也用类似的方法去制定量化标准呢？谢谢，期望能收到您的回复。
作者回复: 这个根据你需要的样本数。我们基数很大所以一般做5%
1
DSY💎
2018-05-25
以下是我的思考，请老师指正。抖音做加强版美颜功能，为的是让用户更好的展示自己，从而拍更多的视频，提供更多内容，提升用户活跃、停留时长、留存。 (1)最高目标：提升视频拍摄数量 (2)其他注意指标：用户活跃、用户停留时长、用户留存，视频拍摄量和用户活跃、停留时长、留存的关系。 (3)反目标：内容过于同质化，缺少真实性及特点。
作者回复: 写得很有道理！
1
yuxin
2018-05-19
作为设计师经常收到一些明显会引起负面作用的需求，除了有损品牌形象，用户体验不好这样的理由之外无法反驳，今天学到了新名词：反指标。thx～
作者回复: 哈哈很开心帮到你
1
豆大豆豆
2018-05-17
两周内自拍视频总量提升15% 两周内女性用户自拍视频发布总量提升10% 两周内女性用户自拍视频观看量与发布量比上升20% 两周内女性用户取消发送视频与发送视频比例下降30%
1
Geek_58fcf2
2022-04-25
制定成功指标，及反指标。进行a/b测试，获得效果。
啊哈小可爱
2022-02-22
加强版美颜发布后视频发布者发布动态是不是频次提高了？其他用户的互动频率是不是提高了？
OrangeJuice
2021-08-09
有没有好书推荐呀
PP
2020-12-15
抖音加强版的美颜功能， 1：明确整个产品的最高目标：抖音的日活跃用户增加。 2：思考这个新功能的小指标有哪些：提供视频内容的用户通过加强版的美颜功能，增加了拍视频的兴趣，视频内容量增加；观看视频内容的用户因为加强版的美颜功能得到了更加愉悦的观看体验，增加了其观看时长和互动指数等。 3：明确这个功能是如何提升整个产品的总指标和小指标的：基本同上？ 4：明确反指标是什么：美颜过度之后用户对于视频内容真实性的质疑以及审美上的疲劳反感等。
展开
水水
2020-09-16
抖音美颜新功能指标：使用率、增长率、单创作者作品数量；大局指标：用户活跃度、用户总时长、直播间用户停留时长（直播间一般都需要开美颜，且直播与营收有关）反指标：作品被举报率、作品完播率
展开
周竹筠
2020-07-22
抖音的产品最高指标是用户活跃度加强版美颜功能的小指标是：用户上传视频数新功能解决的问题是：因为加强美颜功能加强了用户上传视频的欲望。从而增加用户视频上传数。反指标：视频质量，点赞量。可能因为加强美颜导致失真，降低视频质量和用户评价。
Weiyung
2020-06-15
内容质量用质量分来衡量，但是如果是表情包评论没有举报的入口，这样衡量是否不妥，就算有举报，这个功能基本不会用。对于内容质量衡量这块有疑惑，希望能够能够帮忙解答一下

