产品会客厅 | 从案例出发，如何利用数据分析来验证新功能的效果？

Sep 21, 2018

产品会客厅 | 从案例出发，如何利用数据分析来验证新功能的效果？-极客时间



下载APP





关闭

讲堂部落提薪训练营云原生训练营架构实战营企业版极客商城兑换中心 App下载浏览器插件

渠道合作

推荐作者

产品会客厅 | 从案例出发，如何利用数据分析来验证新功能的效果？

2018-09-21 邱岳、极客时间产品团队来自北京

《邱岳的产品实战》

课程介绍



【写在前面的话】
产品会客厅是一个实战问答的板块，我想要创造的是一个集思广益，共同探讨问题、答疑解惑的互动环境。
在上一次的会客厅中，极客时间产品团队通过“分享有赏”的案例，为我们分享了产品经理做决策时的一些经验，在这个过程中，很多同学对“分享有赏”这个功能十分有兴趣，并留下了一些问题。今天我们继续邀请“极客时间”的朋友来为我们分享一下。
【第七期问题】恭喜幸运用户 @Terence @橙，你的提问被抽取成为本周的实战问题。极客时间将送出价值 68 元的极客福袋一份。1 个工作日之内，工作人员会与你取得联系。
用户留言

1. 感谢分享，不过我有一个问题，“分享有赏”这个功能带来的增长效果如何呢，每个专栏的内容不同，是不是通过这个功能带来的增长效果也不同呢？
2. 关于《极客时间》的分享有赏，我一直有一个疑问，为什么通过“分享码”购买的用户没有返现？
例如，将 40% 的 KOL 返现剥离出 5 元，返现给通过“分享码”购买课程的人。
理由如下：如果看到分享码的人，不通过赞赏码购买，而是直接去极客时间购买，则 KOL 就失去了一个获得返利的机会。而对于购买课程的人来讲，如果分享码购买并无其它好处，那何必通过分享码购买呢？
同样的返现金额，拆除一部分交给购买分（如同 Uber 的策略），感觉能够更加刺激每一个用户而不仅是 KOL 去积极推广分享码。
极客时间回信@Terence  @橙你们好！
感谢你的留言和关注，与你的建议不谋而合，我们其实也是做了这个功能的，并且，在一些专栏的“分享有赏”设置中，我们也用到了这个功能（见下图）。
就像你提到的“通过分享码购买的用户会得到返现”，我们当时做这个特性的初衷，也是为了让分享者（也包括 KOL）更多去带来购买，从而获得更多的返现收益。
但是，在实际操作过程中，我们观察了一些数据，也跟一些 KOL 用户交流过，结果发现这个考量可能与他们的想法背道而驰，关于这个功能，我们也经过了很多讨论和思考，并结合一些数据分析，在做不断的尝试，我们产品还在迭代。如果有新的进展，我们会在产品会客厅中继续为大家分享。
接下来说一说 @橙的问题。
我个人是这样感觉的，产品经理在制作产品的时候是一名匠人，在这个阶段，我们需要付诸耐心打造产品的细节和体验。在产品成型之后，产品经理则摇身一变成了家长，去时时监护着产品的状态。
监护一款产品自然不能十分随意。如果产品生了病，我们去对症下药，找到合理的解决方案。体验不好怎么完善，增长不好怎么拉新，这些都是需要一次次迭代完成的。
不过，找到药并不是解决的终点。这味药到底是否有效，我们需要结合产品在此之后的各项数据和指标来观察和判断。或是调整药方，或是换另外的方法来治疗产品。
我们在上一次的分享中谈到了“分享有赏”这一功能，这个功能的上线就是“极客时间”遇到一段时期增长缓慢，产品团队为它服下的一味药。那么在这个功能上线之后，产品的数据有什么样的变化呢，通过这些数据又可以得出什么样的结论呢。
在“分享有赏”功能上线 3 个月后，我们对这个功能的相关数据做了一些整理，来看一看“分享有赏”为我们带来了什么。
为了收集“分享有赏”功能的数据在整体数据中的表现情况，我们统计了分享海报带来的 PV 以及 UV、有效分享人数（多少人的分享海报被查看）、返现订单数、获得返现人数（主返现），并通过这些数据与整体专栏数据的比例算出了一些基本指标。
通过“分享有赏”海报进入的 PV 占同期专栏详情页总 PV 的 27.68%
通过“分享海报”进入的 UV 占同期专栏详情页总 UV 的 26.75%
“分享有赏”订单占同期专栏订阅总量的 29.95%
获得主返现的人数占整体订阅人数为 8.06%
通过上面的一组数据，我们可以看出，“分享有赏“这一功能的效果还是十分明显的，它为专栏带了流量的同时，也带了付费用户的增长。上面的基本指标佐证了这个功能是成功的，也药到病除了。不过，这只是一个数据观测的开始，仍然还有一些具体的指标需要我们去关注。那么还需要关注什么指标呢，我们继续往下看。
在我们的预期状态下，理想的返现是下图中呈现的这样的一种情况：有效分享的人数越多，看到这款海报的人越多，通过海报订阅的人数也就越多，获得返现用户也就越多。我们在外部再去借助一些 KOL 去协助推广，让海报保持在一种高 PV 和高 UV 的曝光下。这样“分享有赏”就会一直保持在一种强动力、高效的自传播状态。
在这个理想状态下，“有效分享人数占比”“海报订阅转化率”“获得返现的用户占比”是我们需要关注的三个指标。
这里需要注意的是，这三个指标都是占比而不是具体数字，这是因为除了整体的数据，我们还要去关注每个专栏不同的数据，甚至是每个专栏在不同阶段的数据，每个专栏的订阅量并不统一，用比例可以更好地观测数据，并且结合推广的节奏得出结论。
下面我来简单介绍一下这三个指标。“有效分享人数占比”是“返现的海报被扫码的人数”与“总订阅人数”的比值。所有订阅者都会获得海报，那么有多少订阅者成功分享了海报并被人扫码查看，通过这个数据可以大致看出订阅者是否乐于分享海报。
“获得返现的用户占比”是“获得了返现的用户（主返现）”与“总订阅人数”的比值。从这个指标我们可以看出获得主返现的用户在大部分用户中占据一个什么样的比例，从而看出这个专栏是否依赖 KOL 传播。
“海报订阅转化率”是“返现带来的订单数”与“返现海报的 UV”的比值。通过这个数据，我们大体可以看出海报是否有吸引人购买的意愿。
通过上面的三个指标，我们做出了专栏的总体数据表格。（下图来自专栏真实数据）
1. 返现数据的落差：恢复原价前后各个专栏及视频课程的整体返现数据，绝大部分来自限时优惠期，各项指标的表现和排名基本也是由预售期的数据决定的。各专栏在优惠期结束后，订阅和返现数据整体都有所下滑，同时，返现对专栏订阅的推进作用也被削弱。
整体订阅数据下滑，一方面是因为在恢复原价后，专栏不会再进行像上新时那么大力度的推广，另一方面也是一些关键指标的数据下滑使得返现机制不再具备上新时的自传播能力。
2. 价格变化对关键指标的影响在对比各个专栏在恢复原价前后的数据后，我们发现。首先是有效分享人数占比受价格变化的影响较少，不少专栏反而有所上涨。
例如，F 专栏在限时优惠期间的有效分享人数占同期专栏订阅人数的 24.68%；恢复原价后，有效分享人数占同期专栏订阅订阅人数的比重上升至 28.24%。再如 C 专栏在限时优惠期间的有效分享人数占比 28.64%；恢复原价后，有效分享人数占比 30.46%
其次恢复原价对海报的订阅转化率影响极为明显，价格上涨导致海报订阅转化率被削弱， 比如，D 专栏海报的订阅转化率从限时优惠期的 11.92% 降到了恢复原价后的 4.95%；视频课程受到的影响尤其明显。I 专栏在恢复原价后，海报的订阅转化率从 11.58% 跌至 0.15%；K 专栏则从 4.54% 跌至 0.69%。
最后，有效分享人数变化不大，海报订阅转化率明显降低的情况下，各专栏获得返现的人数占比也有所降低。 以下是前面提到的专栏在不同阶段获得返现人数的占比变化：
海报订阅转化率的降低，侧面可以反映出用户再次去分享海报的积极性受到了影响。但因条件限制，暂时无法统计到每个用户分享同一个专栏海报的频次。
通过以上的分析，我们得出了两个结论。
1. 返现功能上线的初衷是希望通过用户自传播实现自增长，不同专栏会因为本身选题大小、讲师段位高低导致起点有高低，整体数据天然就会有很大差异。即便如此，对待不同的专栏，应深入分析它本身的数据表现。
在日常运营中，可重点关注每个专栏返现的关键指标：有效分享人数占比、海报订阅转化率、获得返现的用户占比 ; 三项指标数据表现良好的情况下，再配合推广，可以充分利用流量，无限接近最佳效果。
2. 当前每个专栏的海报模板比较固定，所以目前能分析到的影响海报订阅转化率的最大因素是价格，建议在专栏的每个阶段，适当变化海报文案和设计风格，并追踪它们的的订阅转化率，探索出最佳的海报模板。
总结我们总结了一下，在整个数据分析的过程有这样的一些关键点，这里可以跟大家分享一下。
功能上线之后，在不同的周期内，可以时时用数据分析来了解趋势和现状。
为你的数据分析制订一个方向，并收集这个方向的相关数据，锁定关键指标。
围绕着关键指标，在不同维度、不同阶段作分析，找出产品和运营改进的关键点，对最佳效果无限逼近。
当然，这一次的返现也存在着一些不足。因为时间和条件限制，本次未统计各专栏通过返现带来的新用户；因统计对象数量不足，暂时无法通过现有数据判断，单项返现和双向返现策略对返现数据的影响；下一次，我们可以去找若干个专栏，分别在不同时期使用不同返现策略，追踪数据后才能得出比较明确的结论。
希望这些经验可以对你有所帮助，再次感谢大家的支持。如果你也有数据分析的经历，可以在留言中分享出来，我们一起精进。
2018.09.19
极客时间产品团队
精选留言恭喜幸运用户 @功主 i @Novelty ，你的留言被抽取成为本周的实精选留言。极客时间将送出价值 68 元的极客福袋一份。1 个工作日之内，工作人员会与你取得联系。
本期讨论你为自己负责的产品做过什么样的数据分析，又收获了哪些经验呢？

分享给需要的人，Ta购买本课程，你将得18元

生成海报并分享

赞 12

提建议

产品会客厅 | 从“分享有赏”案例讲起，如何做关键决策？

产品会客厅 | 产品经理面试究竟考什么？

 写留言

精选留言(17)

听天由己
2018-09-21
这次分享真的干货满满，厉害了。 1、这篇数据分析与结论绝对够格，都有论文写作的风格了； 2、我开始渐渐明白，产品会客厅其实不只是读者和作者间的交流，更是产品团队与用户互动切磋的过程，一箭双雕； 3、产品节奏与生命周期任重而道远，通过采取新功能对产品与商业价值的对比，我们也能够感受到极客时间目前的状态，这样的真实性值得鼓励。加油。
展开
10
未设置
2018-09-21
自己做了几种数据分析，这里也跟大家分享一下。 1.会员分析：新会员注册、新会员购物比率、会员总数、所有会员购物比率; 概括性分析会员购物状态，重点在于本周新增了多少会员，新增会员购物比率是否高于总体水平。如果你的注册会员购物比率很高，那引导新会员注册不失为提高销售额的好方法。会员复购率：1次购物比例、2次购物比例、3次购物比例、4次购物比例、5次购物比例、6次购物比例; 转化率是体现的是B2C的购物流程、用户体验是否有好，可以叫外功，复购率则体现B2C整体的竞争力，绝对是内功，这包括知名度、口碑、客户服务、包装、发货单等每个细节，好的B2C复购率能做到90%，没有复购率的B2C绝对没有任何前途，所以这也能够理解为什么很多B2C愿意花大钱去投门户广告，为了就是获取用户的第一次购买，从而获得长期的重复购买。但某些B2C购物体验做的不好，花大钱砸广告，这纯属烧钱行为。所以我觉得运营的核心工作，一方面是做外功，提高转化率，获取消费者第一次购买行为，另外一方面就是做内功，提高复购率，B2C根本也就在重复购买。所以B2C是个综合学科，做好每门功课真是不容易，不过也就是依靠每个细节，才奠定了B2C发展的基石。中国的B2C是幸运的，因为中国的消费者很宽容，你欺骗我一次，我可能还会原谅你，说实话给消费者选择的空间也并不是那么多，但随着新崛起B2C的成长，对服务的关注与投入，我相信未来的B2C会是个服务行业，而不是搬运工。 2.流量来源分析我们用的是Google Analytics，统计的数据比较详细，流量来源分析我觉得最重要的意义是：第一，监控各渠道转化率，这是运营的核心工作，针对不同的渠道做有效的营销，IP代表着力度，转化率代表着效果; 第二，发掘有效媒体，转化率的数据让我们很清晰的了解什么样的渠道转化效果好，那么以此类推，同样的营销方式，用在同类的渠道上，效果差不到哪去，BD或广告就可以去开发同类的合作渠道，复制成功经验，做产品上产品中国。流量分析是为运营和推广部门指导方向的，除了关注转化率，还有像浏览页数、在线时间，都是评估渠道价值的指标。z 3.内容分析主要的两项指标：退出率和热点内容退出率是个好医生，很适合给B2C检查身体，哪里的退出率高，基本会说明有些问题，重点关注登录、注册、购物车、用户中心，这些是最基础的，但也是最关键的。一般我会列出TOP20退出率页面，然后运营部会重点讨论为什么，然后依次进行改进，不过我们今年做的很粗旷，做得也不是很好，来年重点完善。热点内容这部分是用来指导运营工作的，消费者最关注什么，什么产品、分类、品牌点击最高，这些数据在新的运营工作中做重点引导，推荐消费者最关注的品牌、促销最关注的商品等等。
展开
10
Novelty
2018-09-21
这次的分享有血有肉有骨骼，看的很是过瘾。对于产品而言在培养了一群早期用户并深受其喜爱后，就应该将部分目光放在设定增长战略的制定上，通过KOL去设立增长杠杆的做法是非常高效的。这次感触最深的一点就是极客产品团队，事先确认了理想的返现路径，并依据设定路径，在各节点上去设置它的关键指标，从而能更精准，高效的达成目的。最后有关海报分享这一环节，我觉得虽然利益点足够明确了，但如果同一专栏的海报视觉效果一直保持不变，对于用户的持续分享积极性也会受到影响。我们可以把海报也看成一个小产品，那么用户的持续分享就可看做是海报的用户留存率或活跃度。那么是否考虑将海报就设置成对用户的一种服务，比如海报的主内容可定期更新为专栏作者用简短语言告诉用户他的生活及工作感悟及近况，让大家定期就有生成海报并持续分享的动力。
展开
7
sylan215
2018-09-21
1.超赞，本次要问的问题我之前也想了很久，起因是微信群总是有人发分享，然后说全返，其实大家热情还是蛮高的。 2.经过本次这么一解释，好像有点明白了，感觉海报里面那个扫码返和返佣金的感觉不太一样，因为我之前也见过扫码返的海报，但是没有提起了兴致，返佣金反而能给人更深的印象。 3.基于第二点，是不是可以设计一个佣金分成策略，分享的人可以自己设定返佣金的比率，这个一方面可以刺激分享的人(全返只是为了获得满足感)，另一方面也可以刺激购买的人(全返能感受到推荐人的诚意)。以上，欢迎沟通交流，公众号「sylan215」
展开
3
高天泽
2019-05-28
二爷有没有数据分析方面的数书籍可以推荐一下？
作者回复: 我看过不少，但似乎没有某一本特别好，图灵的一些跟数据分析的书都不错，可以配合 Python 一起动动手。
2
李勇
2018-09-21
是了。之前二爷推荐那几本书能再说说吗？就是极客做活动二爷推荐的
1
Geek_a7059c
2022-12-30 来自广东
赞
yuecheng123
2022-09-25 来自上海
感谢老师
杜微
2022-02-13
运营数据分析指导产品策略指定
陈丹
2019-10-28
之前发现，通过海报二维码，扫码的好友，显示的价格和原价一样，不是海报中显示的拼团优惠价格，这是bug还是设计如此呢
作者回复: 很有可能是活动已经过期了……
和小胖
2019-04-29
通过这个了解到数据分析对产品决策是多么的重要，并且需要不同阶段、不同维度的数据分析，这样会让数据分析更加的立体。只是通过一段时间或者一个方面来看数据可能是很好或者很差，但是多个角度多时期综合来看，数据分析才会更有说服力，也能减小误差。
Ronan
2019-02-22
“也跟一些 KOL 用户交流过，结果发现这个考量可能与他们的想法背道而驰”。不知通过扫码进入，是不是和 KOL 利益相关了。所以 KOL 意见很可能是出于自己利益说的。很喜欢替Airbnb 打口碑广告，我邀请朋友注册，以我名义送给对方两百多旅行基金，同时我也能获得很多推荐金。作为推荐人，我会很乐意分享，别人看到不会觉得我是纯为自己谋利。作为看到这种海报的新人，我也会点击这个注册，因为不点这个就没钱。很多论坛，新人也是通过邀请码才有奖励。之前特斯拉也是，新人使用邀请码，会送超充，没码不送。
展开
脑壳疼
2018-09-26
25号微信 iOS 发布新版，这次又调整了订阅号的信息流模式。那么有几个问题想和二爷讨论： 1、微信这样做版本修改，是否应该采用A/B测试的方式来进行版本更新更为稳妥呢。 2、该通过什么样的指标来判定每次的改版是否成功？ 3、二爷也是号主，那在你心中订阅号应该以什么样的形式出现会符合二爷作为号主这个身份的期待呢。
展开
焕哥
2018-09-26
在微信内开发，很多功能其实靠产品经理琢磨，api并不会写出来，像你们引导关注公众号这个功能，其实我有几个问题，希望二爷能够给予解答： 1.你们是怎么发现能这样做的？（我们做了用小程序来看公众号文章，但链接中的公众号点击是置灰的） 2.这种功能有可能会被微信定义为利用漏洞，或者引导关注，风险还蛮大的（这个功能厉害，推广小程序的成本比公众号要低很多）
展开
焕哥
2018-09-25
二爷，我是小程序开发者，看到readhub做了一个很强大的功能，小程序引导关注公众号，请问二爷如何实现的？很强大
喵喵花花
2018-09-23
我有两点关于文章阅读量/质量的数据分析有疑问，可能不等同于这一篇文章中说的针对新功能的数据分析。某一专栏中某一篇文章，如何评估质量的好坏？ 1.是否会拉取这篇文章实际分享的次数及阅读数？可以从哪些维度分析这些数据呢？ 2.分享出去的文章，有限制最多10个名额可阅读。自己分享的文章，点击阅读后也会统计在这10个名额范围内，这样做的目的是？ 3.关于产品会客厅有奖竞答环节，是为了督促大家积极讨论。是否有关注一个问题，此环节貌似可以让能中奖的人一直中奖，不能中奖的人中不了奖。怎么能调动更多的人参与呢？
展开
致命的小龙虾
2018-09-21
这期回答超干货！真材实料～送1亿个赞👍
共 1 条评论

