硅谷的那些明星产品是如何进行AB测试的？

lxl · 发表于 2017-1-12 17:05:41

本帖子中包含更多资源

您需要登录才可以下载或查看，没有账号？立即注册

x

本文由新晋成立的三节课翻译组出品。三节课翻译组日后会定期精选来自国外科技媒体、博客的精品文章进行翻译，每周末，我们都会推荐给你这样的翻译作品。
在此衷心感谢三节课翻译组全体成员（目前共计19人）为此付出的努力，三节课正在努力成为一个“既性感，又有温度”的互联网人学习社区。

本周五，三节课持续了半个月的“产品汪大战运营喵啪啪啪运动会”正式告一段落，关于奖品部分，大家可以戳→→→点我领奖品←←←，去看看我们关于奖品发放的一些思考，以及捎带手领走一份奖品（可能是洗发水、米粉，也有可能是套套）。
来，看正文↓

本文推荐理由：

A/B测试，简单来说，就是为同一个目标制定两个方案（比如两个页面），让一部分用户使用A方案，另一部分用户使用B方案，记录下用户的使用情况，看哪个方案更符合设计。当前，A/B测试已经逐渐成为产品与运营检测产品如何一步步提升留存和收入的重要方法。有效利用A/B测试，也可以快速告诉你多个方案中哪个方案更有效，省去你构筑方案中遇到的种种麻烦。

本文是三节课翻译组整合国外两篇关于A/B测试的文章而来，文中详细地介绍了关于A/B测试的重要性与细节，希望你看完有所收获。

对于平台化产品，产品和运营一直在解决的核心价值问题就是——如何让用户用最快的速度找到并消费自己感兴趣的、急切需要的、超越期待的好内容、好服务。如果你没有在创业前想清楚这个问题，或者做好心理准备和团队建设，准备花费巨大的精力去解决这个问题，等待你的往往是用户的白眼、投资者的冷漠脸、员工的辞职信。

在竞争激烈、产品同质的领域，胜败关键在乎细节。事实证明，用户建模、机器学习、推荐算法、人工推荐，这些听都听吐了的概念，但你不得不为用户而做（或者不得不为VC而做），需要大量产品和运营的试错过程，才有希望一点点接近合理的效果。而其中的关键步骤，在于不断设定用户需求，提出解决方向，用A/B测试的方法，尝试一切可能合理的产品功能。

A/B测试需要一定的准备成本和技术成本，所以如果你是一个创业者，或是已经靠直觉取得了一定成绩的产品经理，你可能会有很多说辞来拒绝A/B测试，比如译者听到的就有——“更本质的方法应该是重构模式”、“更快的方法应该是用户访谈”、“这种新技术并不能解决一切”等等。

不过，A/B测试根本不是互联网行业的新发明。在流水线生产、快消领域，A/B测试早就证明了自己的价值，远比大多数万众创业者“重新发明商业模式”的性价比要高。如果你还不相信，我们就来看一下，硅谷的产品是如何用A/B测试优化了业务的。

一、提高转化率

我们以Frank&Oak为例，这是一家男装电商，他们根据用户个人兴趣和操作行为，为用户打造定制化推荐的购物体验，这是他和其他电商网站相比的亮点。但是和国内的美丽说类似，只有注册账号、登录app，才能够获得这种个性化体验。

因为是否注册登录是用户转化的第一个关键步骤，Frank&Oak首先针对注册流程优化进行了A/B测试。他们先尝试改变了登录模块的位置、表单交互，之前他们的第三方登录只支持facebook账号。在这个版本他们想测试增加一个google账号登录，看看是否会提高注册率，最终的测试改动如下图：

通过A/B测试结果显示，增加了google登陆按钮之后，移动注册量提高了150%。

虽然Frank&Oak只尝试了几次就获得了巨大的成功，你可能需要调整很多次才能够找到奏效的方法。下面是一些你可以用来测试着陆页的着眼点，帮助你引导用户从搜索商品到完成注册。分别为：

对登录行为进行漏斗模型分析

信息表单的填写

文本和图像的引导

更多的登录方式

二、激活

当你的用户完成注册环节时，你需要去激活他们。商业上来说，这意味着促使用户尽可能快去买东西。为了完成这个目标，研究显示你需要在最开始的两个流程内让他们完成购买，不然很可能他们就再也不会回来了。

例如，Karmaloop在分析用户激活数据的时候发现：先将物品放到了心愿单的用户比那些将物品放入购物车的用户的完成购买率低。Karmaloop分析了这个情况以后做了一个尝试：在设计上弱化“心愿单”按钮的存在感。

降低用户与心愿单之间的交互使得Karmaloop更好的抓住了用户的购物意图。这个简单的测试提高了用户活跃度，提升了35%的销售额。有时候你不需要完全删除一个功能，一些小小的改变就足以达到目标。

三、提高内容利用率

对于内容类网站和APP，推荐内容的压力每天都在增加。尤其是花了大价钱在自制剧、购买版权、限时分成、保底买断方面的视频网站，他们最应该担心的就是内容利用率过低——比如首页和分类页点击率不足、比如用户只能通过搜索才能找到好内容、比如内容订阅率太低或者回访率太低。一向自称“我们是一家技术公司而不是电影公司”的NETFLIX在这方面称得上业界良心，尤其是对首页的有效利用堪称一绝。

新用户登录时看到的NETFLIX首页，推荐的内容是NETFLIX的常青王牌剧《纸牌屋》。

笔者第二次访问时看到的NETFLIX首页，首页从常青剧换成了新剧《怪奇物语》，可以看到根据一些用户习惯，下面的NETFLIX独家内容开始出现了一些倾向。

别人的账号里在同一天看到的首页完全不同，看到的是脱力喜剧《福是全家福的福》。

切换为儿童账号后：

未登录之前的首页，强调的是海量内容。

在成为以个性推荐知名的产品之前，NETFLIX深知，获取用户的信任不是一件简单的事。

Netflix的工程师Gopla Krishnan在自己的博客上记录道：

一个产品功能或内容，如果无法在90秒之内获取一个用户的注意，用户很可能就会失去兴趣，并且转向其他行为。这些问题如果反复发生，可能是因为我们没有为用户呈现正确的内容。如果回溯原因，则是因为我们没有足够的根据，证明用户为何喜欢某一个内容，因此没有用正确的思路去呈现内容。

于是Netflix在2013年做了一次大规模的A/B测试（实际上是A/B/N测试），看看围绕同一部电影，他们是否能够在海报上做些个性化文章，提高转化率。

图1是默认海报，图2提高了14%的点击率、图3提高了6%。

NETLIX随后开发了一个系统级方案，可以自动将节目图片根据不同的宽高比、裁切效果、修饰程度、本土化元素等维度进行分组。他们把这套方案逐渐应用到越来越多的节目上，跟踪相应的用户点击转化率，以下是一些例子，绿色箭头是用户转化率较高的内容：

四、经验总结

1、为何要使用A/B testing

如果你给产品设计了一个新功能或新的运营手段，使用A/B测试可以帮你扭转两个关键指标：留存和收入。使用A/B测试，彻底改变产品，跟踪用户行为，你可以看到你的产品如何一步步提升留存和收入的。如果测试有效，就尽快放进基线版，做成标配。这种手段可以帮你持续优化产品和运营。

2、你的用户是否按照你的设定在操作

我的经验是，用户在绝大多数时候都不会按你期望的方式操作，有时候他们连你精心推敲、放得好好的按钮都找不到。个中原因很多：可能因为你的设计不够直观、颜色不够突出、不理解某种操作、可交互的选择太多无法决定从何下手……等等。

3、你的直觉准确吗？

很遗憾，对于用户行为来说，多数时候我们的直觉都是错的。唯一能证明对错的方式就是A/B测试。在用户体验领域，这是最好的鉴别指针。以一个房产网站的经验举例，他们想提高Google广告的注册转化率。于是做了几版设计，他们认为只要隐藏房产图片的效果会更好，结果同时隐藏房产图片和价格的设计转化率反而更好。

4、一起探索边界

一个人的边界太有限，因此最好的主意不是憋出来的，是一起探索出来的。好的产品团队应该擅长通过各种不同的新项目，推动跨团队的协调和交流。经常把设计师、工程师、产品经理、运营聚在一起，围绕产品大开脑洞。很多好的产品点子就是在测试了原型产品后，通过这样的跨团队讨论迸发出来的。

5、关注用户做什么，而不是他们说什么

当你和用户直接对话时，请务必记住这个原则：用户总是说一套做一套。这周我亲自做过的一次用户测试，可以完美地证实这一点。我问用户，平时用通讯录时会不会使用筛选功能，用户表示并不用，因为靠滚动就可以搞定，没必要使用。但在用户看到这个新的筛选下拉菜单时，这个功能的便利性马上吸引了他，用户迅速地学会了使用多种维度进行筛选，然后马上问我们：“这个功能什么时候能在产品里用到？”

6、用户数据的多少决定了你的成功几率有多少

有数据，才能分析用户行为的背后原因。数据能助你构筑方案无需人肉撕逼，A/B测试可以告诉你哪个方案更有效。

强势插入一则好消息：我们这里还有10个吆喝科技提供的AB测试试用名额，这个测试是针对企业的，如果你是对AB测试有需求的朋友，请将以下信息留言发给我们。先到先得哈~
1、公司或产品名称
2、姓名（申请试用的联络人）
3、公司邮箱（企业邮箱）
4、手机号码
5、月活跃用户量【MAU】（分为4个等级：5W以下、5W-50W、50W-200W、200W以上

注：本文是三节课翻译组整合而来，主要参考了两篇文章。点击阅读原文，可看到其中一篇文章的英文原文，另一篇文章的链接可以在三节课微信公号（ID：sanjieke）后台回复“0904”，即可获取。

编译：姚帅，三节课翻译组首任组长，前风软电影组组长，破烂熊字幕组创始人之一，前着迷网产品总监，现任考拉FM运营总监。公众号：filmbeartalk，欢迎交流。
翻译：翠平，2年级产品经理。

三节课翻译组以及我们的产出内容都还在试运行阶段，如果大家对于优质文章的来源、内容构成等各方面有任何靠谱的建议，都欢迎随时反馈给我们。

可能是最性感，最认真，最有温度的互联网人学习社区

提供最系统的产品+运营学习课程

[img=200px,200]http://bbs.morko.net/source/plugin/csdn123_news/csdn123_showimg.php?url=http://mmbiz.qpic.cn/mmbiz/DLpaDmBRYxUHfbMNtbDb9jXRotlbbwrqjvqlIiaUKfAfyFLtjt67s1IY8E3df2KMlShpPIsgxcahXdUcSFm01KQ/640?wx_fmt=jpeg[/img]

关注三节课微信公号（ID：sanjieke）
加入产品&运营学习计划
投稿邮箱: xiaoling@sanjieke.com