35 | 手把手教你设计一次成功的实验（上）

Jul 1, 2019

35 | 手把手教你设计一次成功的实验（上）-极客时间



下载APP





关闭

讲堂部落提薪训练营云原生训练营架构实战营企业版极客商城兑换中心 App下载浏览器插件

渠道合作

推荐作者

35 | 手把手教你设计一次成功的实验（上）

2019-07-01 刘津来自北京

《从0开始做增长》

课程介绍



讲述：刘津

时长09:34大小8.75M



你好，我是刘津。
今天我们进入了第五个模块：小小实验让增长稳稳落地。
这一讲我们来学习如何设计并执行一次成功的实验，由于内容较多，会分为上下两讲。
想做好一个实验，需要注意以下几点，分别是分解实验变量、多维度排列优先级、可视化时间安排、量化结果并复盘。为什么这几点这么重要呢？我想通过一个“题外”的故事来为你解释。
今天我看到了一篇文章，讲的是一个曾经很普通的女生如何通过正确的方法，用短短一个假期的时间从班里的“差生”逆袭成优等生，并陆续考上了清华、哈佛的故事。带着满满的好奇心，我阅读完了她的学习方法。
读完之后，我发现其实她的方法和精益闭环如出一辙：先定大目标，然后把目标分解成一个个关键事项，结合时间轴（相当于优先级）列出完整计划，再把计划贴在家里明显的位置提醒自己。就这样，仅仅经过一个暑假，她就脱胎换骨，成绩由原来的中下游变成了前几名。大家都对她的变化感到十分震惊。
她是这样解释的：成功不仅需要清晰的目标，还要把目标化成一个个可量化、可实现的阶段性“待办事项”。不仅知道要什么，还要知道怎么做，时刻关注自己的表现，时刻看到自己的进步，自然就不再迷茫。
另外，通过可视化的方式把时间规划和待办事项结合到一起，让自己既有清晰的目标和具体事项安排，又有明确的时间。
最后，把这些内容写在卧室的白板上，抬头就能看到；或者设成手机屏保，每次用手机都能看到。这是源自心理学上的“曝光效应”。也就是多看目标，多提醒自己目标的存在，越看就越想实现，不断刺激我们的情绪和斗志。
这个思路让我感触很深，最初我们的用户增长设计团队也只是一个非常普通的支持团队，工作质量一般、效率也不高。但是使用精益闭环的思路后，我们用很短的时间就创造了一个又一个奇迹，让领导刮目相看，与此同时我们也没有增加很多额外的工作量。
也许你的工作一开始就顺风顺水，这时你很可能不会去思考什么问题，只以为一切都是天时地利人和。但当你开始遇到问题、解决问题，并回头分析自己的行为时，你才有可能明白：好的方法真的是可以让普通人快速逆袭的。
下面我就逐一介绍一下实验的要点。
分解实验变量首先是分解实验变量，这个在前面已经讲了不少了。常见的有单变量测试和多变量测试。
单变量测试的应用很好理解，比如说我们这次单独测试按钮颜色，其他的都不改变。那么按钮颜色就是单独的测试变量。即便你要测无数种颜色，这也是一个单变量测试。
多变量测试就是同时测试多种变量，像我在第 31 讲里提到的“唤醒沉睡用户”的案例，就是多变量测试。
如果还拿优化按钮样式来举例，那么通过分解，你可以考虑优化按钮颜色、位置、形状。如果优化其中一种，就是单变量测试；如果同时优化两种或三种，就是多变量测试。
在每个变量下面，我们还需要再细分测试变量。比如按钮颜色，可以分解出 a1 红色；a2 绿色；a3 蓝色……按钮位置，可以分解出 b1 上方；b2 中部；b3 底部……按钮形状，可以分解出 c1 直角；c2 圆角……
假如我们同时选择按钮颜色和位置这两个变量做测试，那么就需要交叉所有的小变量组合，其中有：a1b1；a1b2；a1b3；a2b1；a2b2；a2b3；a3b1；a3b2；a3b3。一共 9 种组合。
当然这里只是个示例，给你展示如何分解变量做测试。但如果真的是优化界面，我是不建议用这种机械的方式来测试的。很多公司或个人太过推崇实验文化，而越来越不愿意动脑去思考。实际上，实验只能从已知的组合中挑出最好的，却不能帮助我们探索未知。所以，我们还是尽量要用洞察 + 验证的方式来做增长。
还记得我在第 28 讲举过的营销落地页的例子吗？当时只是讲了最基础的设计思路，优化了界面风格及内容。后来我们一直在持续优化，提出了更多的假设并进行分解。我想这也是很多人关心的问题：如何能源源不断地提出假设和分解？我们是怎么做的呢？
首先，我们进行了一轮头脑风暴，模拟用户看到这个页面的场景（前提是我们之前已经做了深入的用户调研），思考他希望看到什么、他想到了什么、希望听到什么、可能会说些什么……然后提炼出用户痛点和用户诉求。
接下来我们把用户诉求提炼成几个典型的分类，这些分类就是三级假设；再把其它内容分别摆放进对应的分类位置里，这些内容就是每个假设下面分解出来的具体事项。
如果是传统的设计思路，可能会根据实现难度排列优先级，然后全部优化后进行开发。但在这里，我们需要先经历一轮又一轮的筛选机制。
多维度排列优先级首先，是看指标，即这些内容是否可以提升指标；如果比较确定，则保留进测试计划；如果认为不能（比如根据过往实验经验）则删除。
其次，是看提升指标的可能性，可能性越大的排在前面，可能性小的排在后面。
再次，是秉持“从大到小”的思路，先做大优化，再做小细节优化。
最后，是看实现难度。对于 H5 页面来说，这项几乎可以忽略不计。
按照这几个维度去筛选并排列优先级，并标出序号，比如 a1、a2、a3……b1、b2、b3……
当然对于大神来说，也许并不需要这么麻烦，他可以很快地根据前期洞察想到提升指标的假设。但如果是一群普通人打增长持久战，那就需要这种成体系的方法了。
结合这个案例，我们可以使用单变量测试的方式，这样有助于我们了解到底什么情况下能够提升指标，什么情况下不能。比如 a1 代表“查看用户评论”，那就可以做个 AB 测试，A 版本可查看用户评论，B 版本保持不变。这样我们就可以明确“查看用户评论”的功能是否能够提升转化。
这引出了两个新的问题：一个问题是做 AB 测试应该切多少量；另一个问题是什么情况下用单变量测试，什么情况下用多变量测试。
为了谨慎，一般我们不会五五分做 AB 测试，而是切出一个较小的渠道，或较小的量级来进行测试，如果实验效果不错再切出更多的流量测试。比如，可以先保持 90% 的流量不变，剩下的 10% 流量里各切 5% 进行 AB 测试。当然也得看总量，一般来说 AB 测试要保证每个样本量上千。如果想要更严谨的话，可以进行置信区间的计算，这个我们在下一讲会具体介绍。
至于什么情况用单变量测试，什么情况用多变量测试，我认为也是要综合来看。如果变量之间有强烈的关联，那么就需要多变量测试。比如唤醒沉睡用户的案例，对什么样的人在什么样的时间用什么样的方式去唤醒，很明显这些大变量之间有极强的关联性，是无法独立测试的。另外就是看产品发展阶段，越到成熟期越推荐单变量测试，因为我们需要精细化的考量独立因素对最终指标的影响。
思考题你可以尝试做一个实验计划，分解出待测试的事项并排列优先级。
欢迎把你的思考和疑问通过留言分享出来，与我和其他同学一起讨论。如果你觉得有所收获，也欢迎把文章分享给你的朋友。

分享给需要的人，Ta购买本课程，你将得18元

生成海报并分享

赞 2

提建议

34 | 三级落地：无限场景应用

36 | 手把手教你设计一次成功的实验（下）

 写留言

精选留言(4)

李沛欣
2019-07-28
这个阶段的内容的确很难懂，所以我又隔了很久才来看。
作者回复: 加油💪
共 2 条评论
4
牛奶
2020-06-22
老师我觉得你缺一个统一的入口。你看我在哪都找不到你的联系方式。公众号也没有网页上散着看到你有个天赋挖掘训练营，我好容易在知乎上看到你吧。你知乎上又没有参加你训练营的入口。还有你有公众号吗我也找不到，找你好辛苦。你要建立一个统一入口啊比如公众号
共 1 条评论
2
Kalman
2020-07-20
老师，请问A/B测试是自己公司开发的系统功能，还是用第三方的？想听听A/B测试具体的实施过程。谢谢🙏
1
eds
2019-07-02
都没人给女神留言啦。

