14 | 如何用数据做出产品决定？

May 22, 2018

14 | 如何用数据做出产品决定？-极客时间



下载APP





关闭

讲堂部落提薪训练营云原生训练营架构实战营企业版极客商城兑换中心 App下载浏览器插件

渠道合作

推荐作者

14 | 如何用数据做出产品决定？

2018-05-22 曲晓音来自北京

《硅谷产品实战36讲》

课程介绍



讲述：丁婵

时长09:29大小4.79M



今天这篇文章我用一个增长日活数的案例，跟你分享一下如何用数据做出产品决定。
案例背景：通过提高新用户的留存率来提高日活数我们希望能够把不同活跃程度的用户区分开来，于是就发明了一个指标：七天活跃天数。我们用 D7 表示这个指标，直观体现留存率：D7=1，代表用户在过去的 7 天只使用了这个 APP 一天；D7=7，代表用户在过去的 7 天中每天至少使用这个 APP 一次。D7>4 代表高活跃度用户，2<D7<4 代表中等活跃度用户，D7<2 代表低活跃度用户。
通过对已有数据的分析，我们发现很多低活跃度用户并没有关注其他用户，他们的朋友圈根本没有任何内容，只能通过搜索来看内容。因此，我们认为用户关注其他用户的数量会影响到用户留存率，此时我们并不是非常清楚其他因素是否会影响留存率，所以我们可以先假设，关注其他用户对提高用户留存率非常重要。
形成假设第一个问题是，影响用户留存率的原因是什么。
这个问题需要考虑以下两种情况：
第一种假设是，用户没有关注其他用户（或关注的数量非常少），他们的朋友圈里没有足够的内容，因此在 APP 里停留的时间也就非常短。
第二种假设是，用户没有被其他用户关注（或关注他的人非常少），他们的朋友圈虽然有内容，但是他们自己发出内容时很少会有人回复，久而久之丧失了对 APP 的激情。
我们假设这两种情况都会影响用户的留存率，但是影响留存率的原因并不一样。所以我们需要弄清楚，哪种情况发生的频率更高、对用户留存率的影响最大、应该先优化哪部分。
第二个问题是，用户的关注数量到底会不会影响留存率。
当用户关注 100 个人、1000 人和只关注 1 个人时，对留存率的影响是同一个级别的吗？用户自己的粉丝数量会不会影响留存率？当你有 100 个、1000 个和只有 1 个粉丝的时候，是不是也会不同程度影响你的留存率呢？
形成假设时要避免的坑是，切记要分情况考虑。不能简单地归类为增加关注数，而是要考虑清楚增加关注数其实影响了两类人，一类是关注别人的人，一类是被关注的人，这两种情况很有可能带来的结果完全不一样，所以要分开考虑、分开假设。
解决问题第一个问题，影响用户留存率的原因是什么，我们通过 A/B 测试的方式来解决。 我们需要设计两组独立的实验来区分关注和被关注对用户留存率的影响。
关注其他用户与否： 我们给实验组用户的朋友圈推荐好友关注，他们可以直接一键关注所有人。这个推荐内容在用户每次打开朋友圈时都出现在第一条状态的上面，以增加用户使用这个功能的概率。对照组用户的朋友圈没有添加这个功能，只显示已经关注的朋友的内容。
被其他用户关注与否： 我们把实验组用户的账号作为推荐放到其他用户朋友圈的第一条，增加他被其他用户关注的概率。对照组用户的账号，我们会避免它们被推荐给其他好友。
我们通过两组实验对比发现， 当我们帮助用户关注更多其他用户后，他们的 D7 增加了 6%；而当我们帮助用户获取更多粉丝后，他们的 D7 增加了 4%。这说明，帮助用户关注更多人或者帮他们吸粉，可以让增加他们的留存率。
我们还设置了一组对比实验，分别在用户使用 APP 的第一周、第二周、第三周和第四周帮助他们关注其他更多用户。通过实验数据，我们发现，在用户开始使用的第一周时就让他们关注更多人，否则他们非常容易流失，而且再也不回来了。
除了帮助用户尽快关注别人，也要考虑尽快帮助用户吸粉，为此我们对比了第一周帮他们吸粉和过几周后再帮他们吸粉的数据，结果发现虽然第一周帮他们吸粉的效果会好一些，但是影响没有很明显。
通过上面的分析过程，我们制定了产品策略：增加一个“你可能想关注”的版块，在新用户第一周使用 APP 时，向他们推荐其他用户，并在这个板块里预留几个名额给其他的新用户。那么，这个版块既可以帮助新用户关注更多其他用户，又可以帮助新用户吸粉，相当于一箭双雕。
之后我们又做了一些优化：推荐什么用户才能帮助新用户提高留存率呢？为此，我们增加了推荐系统，根据新用户提供的个人信息进行推荐，或者根据新用户所在的位置、年龄、手机类型等进行推荐。
第二个问题，用户的关注数量到底会不会影响留存率，我们用统计图的方式来解决。
针对帮助用户关注更多其他用户的假设，统计图的横轴设置为新用户第一个周内关注其他用户的数量，纵轴为 D7。
我们发现，当用户关注的其他用户数量在 20 个左右的时候就到了所谓的临界点，也就是说，D7 逐渐趋于平坦，增速显著放缓。因此，我们发现了“20”这个魔法数字。所以我们把“帮助新用户在第一周内关注更多的其他用户”的策略，调整为“帮助新用户在第一周关注 20 个其他用户”。
通过上面的数据，我们做出了另一个重要决定，我们需要开发一系列功能，来帮助新用户快速发现、搜索其他用户，探索值得关注的主题以及每个主题对应的活跃用户，最终达到一周关注 20 个其他用户的目的。
针对用户粉丝数量对留存率的影响，我们做了同样的统计图：横轴设置为用户的粉丝数量，纵轴为 D7。
通过数据，我们发现用户的粉丝量不在多，如果有几个特别忠实的粉丝给你评论、发消息，你照样可以坚持在 APP 上发状态，增加 D7。所以，我们需要帮助你的忠实粉丝找到你，让你的忠实粉丝在你刚使用 APP 发东西时就能找到你、关注你。
这里需要注意的是，当你验证了某个指标对你的成功有影响时（比如用户关注其他用户的数量对于产品留存率有积极作用），不要仅仅停留于此，还要更深入的研究这个影响是正面的还是负面的、到底有多大、在什么情况下影响最大。你要找到那个可以发挥最大影响力的点，比如这个例子中的“20”，否则就会出现效果未达到预期或者事倍功半的结果。
产品决定根据上面的数据分析，我们决定做以下的产品功能：
将“你可能想关注”板块作为重点，特别是针对第一周使用 APP 的新用户。
“你可能想关注”板块中，涵盖高质量老用户以及其他新用户。高质量老用户用来帮助这个新用户找到有意思的内容，推荐其他新用户是为了帮助他们增加粉丝量。
除此之外，想尽可能多的方式帮助新用户在第一个星期内关注 20 个用户。我们可以通过优化搜索推荐的方式，给这些新用户推荐更有价值的用户，并引领他们到广场上发现有意思的内容从而增加他们关注其他用户的数量等。
总结这篇文章我用一个增长日活数的例子跟你分享了如何用数据做决定。
首先，要形成具体的假设，注意要把不同的假设分开写，而不是合起来写一个泛泛的假设。
其次，可以通过 A/B 测试的方式验证假设，每个假设需要单独设置对比实验来验证。
然后，验证完了某个变量对总体的成功指标有积极影响后， 需要找到这个变量影响整体指标提升的规律。
最后，要通过验证的假设决定产品功能，这才能保证你的产品可以真正能提升成功指标。
思考题如何增加抖音用户的留存率？你有哪些假设，如何验证这些假设？

分享给需要的人，Ta购买本课程，你将得18元

生成海报并分享

赞 12

提建议

13 | 如何撰写产品需求文档？

15 | 如何组织有效的会议？

 写留言

精选留言(20)

DSY💎
2018-05-25
发表下我的思考，请老师指正 1、【通过不同用户行为进行假设分析留存】假设影响视频发布者留存因素：因素1：粉丝数因素2：互动数（点赞、评论、转发）因素3：内容质量差（内容无趣、内容同质化严重、内容太长、广告太多）因素4：被浏览数太少因素5：视频发布流程假设影响视频观看者留存因素: 因素1：粉丝数因素2：互动数（点赞、评论、转发）因素3：内容质量差（内容无趣、内容同质化严重、内容太长、广告太多）因素4：浏览数数太少因素5：内容创作者（发布视频者的质量、性别、风格等个人属性） 2、【验证假设】 1、通过ABtest验证 2、通过现有数据验证，如验证粉丝数是否对留存有影响，可拉取不同梯度的粉丝数量进行用户留存的对比。 3、【根据假设提出产品改进点】假设一：粉丝数太少：增加粉丝推荐，好友邀请等机制假设二：互动太少：增加互动引导，适当可引入积分等虚拟分值机制，通过分值诱导用户增加互动。假设三：内容质量：通过算法、人工举报、用户画像等优化内容推荐假设四：浏览太少：通过算法结合用户画像等优化推荐内容浏览假设五：发布流程复杂：分析用户制作路径，减少用户制作步骤，提供用户教程视频假设六：内容创作者（发布视频者的质量、性别、风格等个人属性）：根据用户喜好个性化推荐内容创作者；引入KOL、明星等认知度较高的内容创作者。
展开
作者回复: 六个假设很全面。虚拟分这个主意不错
共 2 条评论
22
Leo
2018-06-04
老师你好，想请教一个问题，关于数据维度的定义问题，也就是文中涉及到的“D7>4为高活跃用户，2<D7<4为中活跃用户，D7<2为低活跃用户”。想请教一下你们是如何进行确认？关于维度的定义我的实际操作是这样的。以定义活跃用户为例： ● 若产品是一个成熟的产品（拥有一定的用户基数），我们会总结系统内部统计的数据，整理当中的用户规律。（如果这个产品不在行业中占领头位置，可能还要想其他同行探听参考标准。） ● 若产品是一个新产品，市场是还没有一些相似的竞品，我们会以从用户本身行为研究，慢慢总结和修正活跃用户的标准。（具体一点就是看那一类特征的用户人群占比最大） ● 若产品是一个新产品，同时市场上也有类似的产品，一方面还是和用户本身行为研究，但会花时间去尝试在同行里面问到相关的定义标准。（因为活跃度定义这个一般上的市场研究很少会去到那么细，只能够通过私下渠道探听）。期待能够得到您的回复，午安
展开
作者回复: 我和你们的做法很像。不同产品定义不同一般的社交app 都是需要留存率每周多次
6
风信子
2020-12-23
先有问题，再有假设，验证假设将问题拆分，验证更细节的假设通过假设检验去验证假设，得到结论，推动功能设计，提高数据指标。这就是数据分析的意义，但是在这一过程中我们也要看到科学的数据分析方法，会提问的重要性。
5
加州旅馆
2019-12-03
通过用户分层将用户分为：发布视频用户，观看视频用户发布视频用户：用户关注数；用户互赞评论数；平台给予的商业价值；平台给予发布优秀视频的曝光度；观看视频用户：发布视频者的内容质量；互赞评论数；关注用户的内容更新速度；
展开
2
Raymond吕
2020-01-02
如果是产品本身的用户群比较固定，人数也不多（200-300人）应该如何基于数据来做出产品优化，这种情况老师讲的方法论感觉有些杀鸡用牛刀。比如我们只是要做一个给工程师用的工具，来提升他们的设计效率，对于工程师来说，用不用你的工具对他们并没有强制约束，导致使用情况从感觉上就理想，产品的使用情况反馈也只能靠人去一对一的询问，效率很低。老师有没有什么建议，针对特定用户群体的产品增长方法论？
1
luna
2018-07-24
我应该会先分析纯随机挑选的一部分样本，分析出他们的活跃度明显下降的周期，例如百分之九十的用户（假设为A用户群体）会在第八天流失掉，那么第八天之后没流失的百分之十（假设为B用户群体）的用户会是我的第一个重点分析的样本，他们和流失掉的百分之九十的用户的显著性差异到底在哪些步骤或功能上。假设B和A的最大差异在使用点赞功能上，那么我会在实验组用户的功能中优化点赞功能的指引，增加用户点赞功能的使用率，上线后如实验组用户前七天点赞使用率明显上升，再和对照组用户的前七天留存做对比，如留存率得到了提高，代表关于点赞功能的优化成功地提高了用户的前七天留存率。这为一个假设和功能优化方向的验证，其余假设和优化方向可重复上述步骤，已达到提高总体用户留存的目标例如抖音的
展开
1
Sam_Deep_Thinking
2022-02-14
深度好文，这个产品专栏，之前第一次看的时候，觉得没意思。经过近半年的努力成长，再次看这个专栏，觉得是宝。对比其他产品专栏，曲老师的更加优秀。
1
Bravery168
2020-11-05
基于客观数据给出结论。
PIGGY
2020-10-26
对于我这个初学者来说，有一个比较麻烦的问题，那就是这个假设是怎样想出来的？一些什么样的线索可以让我们提出这些假设？
毛毛雨
2020-05-17
简单提一下我想出的可能影响留存率的假设： · 单个视频观看时长 · 日观看时长 · 单次观看视频数量 · 周发视频数量
不在加州的加州
2019-06-12
思考题：抖音留存率（1）新用户：对新用户的留存率来说，假设影响最大的是前5条推荐的短片内容；（2）使用中的用户：可以分析一下高活跃用户的一些共性，然后以这个共性作为假设，用abtest来验证（3）低活跃度用户／流失用户：需要调研用户不再使用or长期未打开抖音的原因
行
2018-07-01
提升关注度（关注价值取向），被关注度（吸粉），找到最大影响数量点。
矢不矢是个问题啊鲁
2018-06-06
老师你好，请问一下，针对第二个问题中的第一个统计图：“新用户第一个周内关注其他用户的数量为横轴，纵轴为D7”，是指取一定数量的新用户，统计他们的D7和第一周内关注数量的关系对吗？这应该是个散点图吧？怎么会有“趋于平缓”这种情况呢？
阿多
2018-05-30
1、统计出留存用户和流失用户的区别 2、分别对留存用户和流失用户做针对性实验分析 3、通过A/B测试或者灰度验证
阿多
2018-05-30
1、首先统计出留存用户和流失用户的区别 2、根据流失和留存用户分别制定针对的用户体验设计 3、根据设计的体验设计做灰度或者A/B测试
jxf
2018-05-29
D7=2 和 4有什么特别的含义吗？在划分活跃度时没有包含。
作者回复: 这个我只是举个例子。每个产品肯定有自己的代表方式。你要是电商产品能d7=1就很不错了。这个需要产品经理制定
DSY💎
2018-05-24
晓音姐，我想请教下，面试的时候被评价缺少系统化思考，请问什么是系统化的思考？看怎么培养呢
作者回复: 我们后面的部分讲面试到时候我可以说说哈
天涯若海
2018-05-23
感觉在做实验对比验证假设的同时，产品功能也就逐渐成型了
作者回复: 嗯是的呢
东霸tua
2018-05-22
请问：增加D7是怎么算呢，因为千文章开头说到D7有1到7，是指测试组比较对比组的D7总和增加还是指D7大于某个值的比例增加呢？
作者回复: 过去七天用户用了几天。
herongchang
2018-05-22
回答下课后问题的个人理解：首先在定量上，应该会对比下流失用户和非流失用户的区别。然后最好能抽取到几个具体流失用户做定性的访谈。甚至可以考虑对定性的结果，进一步的做定量的问卷分析。这样形成的假设会更有依据。有了假设，剩下的AB测试和验证都是很具体的见招拆招的问题。不一一叙述。 Btw，越来越感觉产品其实有其非常科学的一面。
展开
作者回复: 产品本身就是科学的

