多邻国( Duolingo)增长VP的A/B测试原则

多邻国(Duolingo)是一个语言学习平台,Gina Gotthilf是该公司负责增长的VP。她当然不愿意将其最满意的A/B测试实验分享给大众,然而这些实验实在是太好了。“你认为App上的一个小红点是代表新的功能,还是一些没有解决的问题?对我们来说,这意味着DAU的6个百分点提升”。这只有6行代码,花费了大约二十分钟。接着,我们又对这个红点进行了第二个版本的优化,继续带来了1.6%的DAU增长。”

在增长领域,我们经常听到有这样一些观点:你无法预测触发改变的事情是哪一个。产品优化总是来自于宏观层面和微观层面的混合结果。但Gotthilf手上的统计结果告诉我们了另一个事实。作为一个增长专家,她知道最重要的一点是什么:你向用户传递的任何一个信息——甚至是一个标点——都是有价值的数据。因此,穷尽所有试验,消化每个数字的意义,并且用结果来对下一步的工作进行指示。
常态下,Gotthilf的团队至少有5个以上的A/B测试实验在同时进行,通过不断努力的对每一次通知、App的前端展示以及文案进行测试,Gotthilf见证了多邻国的用户数从3百万增长到20亿的量级。

在这次独家访问中,Gotthilf与我们讨论促进多邻国增长最关键的4次A/B试验。她与我们一同分享在A/B测试试验中所学到的教训、警示案例,以及一些原则理念。让我们开始吧。

4个A/B测试试验

在Gotthilf的团队成员以及产品经理Kai Loh的帮助下,我们让Gotthilf和我们聊了一下多邻国做过的最典型的4个A/B测试试验。以下便是她与我们分享的每个实验背景以及具体的演算过程,即便最精简的市场团队,都能够立刻开始执行同样的策略。

A/B试验#1:延迟注册
问题:
几年前,多邻国开始解决一个对于初创App最为生死攸关的问题:是什么引起了多邻国的漏斗模型中最上层的流失,他们该如何阻止这一情况?

“我们发现,下载、访问多邻国App的用户中,成为注册用户的数量大幅下降。很明显,用户的注册是很重要的行为——这说明他们将会再次回访App,而且这个动作也表明我们有机会将一次访问转化成持续的、有价值的体验,”Gotthilf说到。“这意味着我们可以向他们发送通知和邮件。所以,我们开始思考做些什么可以提升注册转化率”。

他们假设解决措施可能是反直觉的:表面看起来你应该让用户立刻完成注册,然而当你拥有大量对产品感兴趣的用户并且能够吸引他们的注意时,让用户先体验你的产品也许是最有效的方式。

试验:“我们设计了一个简单的引导课程,让用户可以看到自己的基础技能如何,这样有些用户无需注册就可以先体验多邻国的产品,我们的注册指标获得了显著提升。” Gotthilf说,“只是简单的将注册页面延后了几步,就让DAU提升了20%。虽然对延迟注册功能进行首次出击时我还没有加入到公司,但我们都看到这一结果带来了正面影响。”

迭代优化是Gotthilf的增长组织中最重要的因素,所以他们并没有到此为止。首次试验即带来了显著影响,现在应该去优化这一实验。他们自己提出了几个问题:用户应该在什么时间注册?是在一个引导流程的中间还是结束?用户应该怎么完成注册?

他们也在观察页面本身的设计。“在某一刻我们想过,‘好吧,除了拿着这个界面走来走去,我们还能做些什么?’”。Gotthilf说“在屏幕的底部有一个大大的红色按钮,文案写着‘放弃我的进度(Discard my progress)’”——基本意思就是不要注册。’”’他们假设很多用户具有一种行为习惯:毫不思考的点击页面中最显著的按钮,在这种假设下,多邻国正在失去很多本来对产品有兴趣的用户。果然如此,通过一个更小的按钮设计作替换,并将文案修改为“稍后(Later)”之后,改变发生了。

这一变化带来了“软墙(soft walls)”页面——这些页面会让用户完成注册,同时也允许用户继续浏览,点击“Later”按钮后,稍后再注册——此时,会打开一个新的页面或者区域,让用户继续体验。“现在,我们有3个软墙”,Gotthilf说,“最终,在几个连续的引导流程之后,用户会抵达硬墙(hard wall)页面,在硬墙页面,如果你想继续使用产品,必须完成注册才可以”。这里有一个关键点:如果没有这些软墙,而只有硬墙,最终的数据表现会明显更差。”

通过优化软墙和硬墙来延迟注册,这些细微的改变一起将DAU提升了8.2%。“第一个试验是大约三年前开始的,现在我们的用户基础比之前更大。这一数字结果也已经是非常显著的”。

经验总结:对早期用户的注册决定进行测试,看数据是在使用产品之前更好,还是体验产品之后更好。如果是使用产品之后更好,形成如下假设:在哪个时刻用户将发现你的产品价值?在你的注册转化漏斗中对这一位置进行评估,并试着在其后设置一个软墙页面。(Gotthil 建议越早越好,因为每多一步操作,你都可能流失用户。)然后,当用户完成一些操作步骤之后,再设置另一个软墙。最后,开始设置一个硬墙页面,并分析每一个墙的流失情况。根据分析结果,将这些墙向前,或者向后移动位置。

将软墙页面想象成一副多米诺骨牌。当将它们准确排列时,只需要开始推动一下,就创造了一个导向注册成功的时刻。

A/B试验#2 : Streak(连续胜利)
问题:与其他的App一样,多邻国也要激励用户形成一个有规律的行为,比如每天完成一个外语学习课程。事实上,除非有用户规律的访问,否则我们认为这个产品基本上是无用的。“我学习过四门外语,可以讲五门外语。我的经验之一就是,没有人能够仅仅依靠周末时间就能学好外语。”Gotthilf说,“我们需要让用户每一天都去学习外语。”

但是说起来容易,做起来难。“现在,我们可以在线通过MOOC课程,或者一些教育平台学习很多非常棒的东西,”Gotthilf说。“人们兴奋无比的完成了注册,然而这些服务的留存率惨不忍睹。因为让用户再次回访是很难的事情”。

这就是为什么多邻国团队要在教育领域之外寻找灵感:游戏世界。“为了将多邻国变成一个游戏,我们发现了五个方法让事情变得更好玩,”Gotthilf说。“我们在自己真正喜欢的游戏中寻找案例,我们认为‘如果能够把他们转换到多邻国之中,应该会是什么样子呢?’”

对多邻国来说,Streak改变了游戏规则,这是记录一个用户连续多少天使用产品的功能,也是Gotthilf和她的团队持续关注的度量单位。“这像是在一个电视游戏中,你必须每天都要做点什么,否则你会让排名下降”,她说。

Streak奖励——游戏化——持续进行

试验:Streak功能的出现是一个重要转折,既改变了用户与多邻国的互动方式,也改变了Gotthilf与她的团队如何对此做出响应。

一开始,用户需要先对streak设置一个目标,因此,多邻国团队在注册流程中增加了设置目标的步骤。“你来决定每天使用多邻国多长时间,” Gotthilf说,“如果你没有达到你的目标,你将不能保持你的Streak记录。这当然不只是每天打开App一下而已。”

相应地,这些目标带给增长团队一个全新的用户通知方式。“现在,我们有了一个实际的理由让用户回来。并不是简单的说‘回来多邻国吧,’这样的信息既无聊又垃圾。”我们可以说,‘你设置了一个目标。今天来达到你的目标吧。’或者‘到了完成你每天功课的时间了。’这样的提醒方式是很好的。因为,你可以站在帮助用户达到他自己设定的目标的角度。”

他们有多种因素需要考虑,最开始尝试的是用户收到通知提示音的时间和频度。时机很重要,既可以成功制造一个通知,也能毁掉一个通知。如果你因为没有任何依据而随便选择了通知时间点,你很有可能错过一个有效通知的机会,更糟的是,你可能惹恼你的用户。“如果你在工作时,或者说,你即将上床睡觉的时候,收到了一个有趣的App通知,那么你很可能会忽略它。” Gotthilf说“每天有一些特定的时刻适合接收某些特定的通知,这取决于你的App是哪一种。”

当然,并没有一个适合所有情况的时间点,多邻国的用户遍布全世界各个地方。他们对此做了一系列试验,最终采用了23.5小时作为通知的时间间隔。“我们做了这样一个假设,你正在使用我们App的时间就是一个好时机。所以,我们认为第二天的这个时间,同样是你使用App的一个好时间。我们想要帮助用户建立一个习惯,像刷牙一样。”

需要测试的通知内容也准备就绪。“为了选择最优文案,我们既有有趣的风格,也有命令的语气。我们试着使用你将要学习的新单词来提醒。我们试过用Duo(我们的猫头鹰吉祥物)来提醒,并让它可爱而且拟人化。我们尝试在通知中给出一个你必须回答的小谜题。”顺便说一下,获胜的方案是最拟人化的版本—“你好,我是Duo”这个信息。

为了选择最优化的文案,需要进行多次试验比较,而且会花费大量时间来完成多种不同的方法,然而,这一切都是值得的。“像这样的方式去优化相关的因素真的是有价值的,这些因素可以影响很大部分用户” Gotthilf说。

确实值得——胜出的版本带来5%DAU提升

虽然带来了增长,但streak被证明是一把双刃剑。用户对此投入很多精力,这导致失去一个streak是令人十分沮丧的,甚至会导致一些用户完全退出使用。然而,面对这个计划之外的结果,Gotthilf和她的团队看到了更多的实验空间。多邻国发展出了一种内部货币——用户通过完成课程来获取该货币——因此,现在他们能够用新的方式使用它。

“我们首先尝试的货币是周末护身符,你只能在周五购买。当你在星期五完成一节课之后,我们会让你看到它,如果你周六和周日不想继续练习,这个护身符可以保护你的streak。” Gotthilf说。“由于一些用户对周末时间利用率极低,他们可能会因此降低streak,甚至再也不回来了。所以,这个功能在周末到来之前可以对他们进行提醒和保护,这样便可以帮助他们学习。因为有时他们周末没有来是想要放弃学习,而其他情况下,他们只是周末暂时休息一下而已。”

护身符功能取得了成功,7日留存率提升了2.1%,14日留存率提升了14%,然而试验并没有因此结束。对于A/B测试来说,试验结果并不应该局限于单一的指标提升,而要看有没有对其他竞争性指标造成下降。在这个例子中,多邻国进行了一个试验来判断留存率的提升是否与收入指标相违背。

“虽然周末护身符提升了DAU数据,但是我们认为这可能对付费指标造成伤害,因为我们还有一个被叫做streak修复的功能,需要人们付费购买”,Gotthilf说。“于是我们开启了一个试验,发现DAU增长带来的价值超过任何streak修复功能带来的收入损失。将DAU的增长与收入指标和留存率放在一起进行比较,一直是必要的。”

经验总结:大多数App都应该尝试对用户灌输一种习惯。如果可以,一开始就让你的用户自己设置一个目标,比如写作的频次,睡觉的频次,或者与朋友之间联络的频次。换句话说,从一开始就帮助他们定义自己的产品使用预期。这样会帮助你打开一扇大门,更加巧妙的通知用户。同时,你还可以从他们最后使用产品时间的24小时内进行提醒。

最后,你会发现你需要开始一系列的试验,每一个试验之间又环环相扣。继续进行这些衍生出来的试验,它们可能将某个单项指标高度放大。但是要记住,在进行重大决策时,你不能只看一个指标数据而抛开自己的个人判断。“在面临决策时:当你发现对一个指标的妥协可以帮助另一个指标,比如在刚才周末护身符功能的例子中;或者涉及到道德决定和品牌认知的矛盾——你要继续做一些试验来收集数据,”Gotthilf说“但最终你会发现,有时你不得不去做一个超出数据之外的个人决定。”

A/B试验#3:奖章

问题:虽然最初并没有受到重视,但如今奖章功能已经成为Gotthilf最喜欢的项目之一。她本想要为此进行数年的测试,但是由于该项目需要昂贵的投资,所以她依然对项目回报持谨慎态度。但她的团队拥护这个方案,后来也证明他们赌赢了。他们为什么会有这样的直觉?如果用户因为有意义的成就获得奖励,他们会更频繁的完成更多课程。

奖章功能取得了大规模的成功。仅仅因为奖章V1版本推出,他们就看到DAU增长了2.4%。”“用户开始课程的会话数据增长了4.1%,用户完成课程的会话数据增长了4.5%。”她说,“因此,用户并非只是开始学习更多的课程,他们也会完成那些本来想要放弃的课程,因为他们想要获得一个奖章。”

还有一些意料之外的增长。比如,多邻国商店的物品购买率提高了13%。增加好友数据提升了116%。“人们突然开始这样想,‘我想要和朋友们竞争,看谁的奖章更多。’于是,他们开始添加好友,这些事情他们之前并不会去做。’现在,我们开始考虑社交与推荐功能,这对我们来说真的非常有价值,”Gotthilf说道。

现在看来,奖章功能取得了全面胜利。然而,你也许会感到惊讶,这个实验曾经因为一次失败的尝试,而差一点没有开始。“我们最开始想要尝试通过奖章来鼓励成就的功能是在一年前。我们想通过MVP(最小化可行产品)模式来测试,当用户注册成功后,我们给用户一个‘完成注册’的奖章。”但这并没有带来任何影响,所以我们毙掉了这个方案。”

实验之后我们进行了复盘,团队成员完整的经历了一遍该流程,直到这时,我们才发现一个注册奖章并没有捕捉到成就激励的精髓。这里有一些重要教训:

  • 注册并不是一项带有骄傲感的成就。
  • 取得一个奖章没有意义,重要的是有很多奖章。
  • 人们想要看到的是他们收集到了很多个奖章。

A/B测试的一条核心原则:
有效实现一个想法的最简方式,事实上可能并不是实现那个想法的最简方法。“最小化(Minimum)”一词来自“MVP”,但是“可行(viable)”才是其最核心因素。
试验:在下一次试验中,增长团队巩固了之前的经验。“我们花时间设计了许多奖章,并且想要在App中为这些奖章选择一个展示的地方。我们在思考多邻国最有奖励价值的部分是什么,在哪里用户有最积极的感受。”

将过去的经验放在一边,现在依然是一个新实验的V1版,增长团队需要对实验规模进行限制(他们已经推出了V2版本,这一版本带来更多的复杂性,比如奖章等级)。对于重要的创新型实验来说,突然被打断是常有的事情。随着团队的热情高涨,实验规模在不断扩大。“台面上一共有70多个关于奖章实验的方案。有些人想要建设二级、三级,四级等等的奖章等级。其他人想要创造一个系统,用户能够通过这个系统看到他们朋友的奖章,”Gotthilf说,“我不得不成为喊停的那个人,‘这样太过复杂,我们需要将规模缩小回去。’我们发现一个能够让我们保持在限制内的方法,那就是让产品经理或者团队负责人坐在实验设计者的旁边,一起完成设计。这是我们近期的一大进步,而且很重要。”

产品经理是非常关心指标数据的。他们明白你想要尝试完成什么,并且他们也知道设计者和工程师的时间预算。“当你将这些关键人物聚在一起时,他们可以坐下来,并且保持平级沟通。通常,交谈的内容大致如下:‘好的,这些我们可以完成,除了……。那些我们可以完成,除非……。’”

这是一个对等协商的过程,而不是一系列自上而下的命令。“我发现这是让事情完成并且保持人们积极参与的最有效的方法。这样可以带给你想要的最佳结果,当你将让人们聚在一起时,他们可以得出你希望的结论。而且,更好的一点是,这是他们讨论出来的想法,他们会为此而战斗。尽管这个想法与你的类似。”

经验总结:
成功的试验需要平衡:最小化可行性产品既不是一次试水,也不是全部投入:这既不能将一个想法粗略的绘制出来,也不能将其最完整的实现。在多邻国的奖章实验中,由于第一次实验带来的希望与热情,团队开始尝试大规模的二次进攻,因此在设计实验的早期,将产品经理或者团队负责人与设计者配对工作。两个功能互相平衡,能够帮助团队将狂热的热情与实际的执行维持在正确的水平。如果实验失败,要继续将注意力放在失败的原因上,对实验进行复盘。因为,下一个成功实验的立足之处都在这里。

A/B试验#4:App 内置教练
问题:有时,灵感来自于外部资源。团队里有些人一直在阅读行为心理学著作,这些著作表明对人们有能力提高技能进行鼓励,获得的效果远远强于对他们的天赋进行表扬。

“将这一理念运用到教育孩子身上,你应该对他说‘你在考试中做的很好,因为你学习非常努力’,而不是‘你考试非常好,因为你是个天才’”Gotthilf说。增长团队决定追寻这一理念,然而难点在于如何对用户进行激励,他们决定在App内创造一个可以鼓励大家的教练角色。

试验:多(Duo)是多邻国的猫头鹰吉祥物,现在它又拥有了教练的双重身份。“有时,你可能正在学习一个非常难学的外语。比如,我刚开始学习日语的时候,会犯很多的错误,”Gotthilf说。“当你犯了许多错误的时候,你感觉糟糕透了。你感到你很失败。你倾向于放弃学习。因此,我们让这个友好的角色及时出现,并且告诉你‘即使你在犯错误,你也是正处于学习的过程之中。’”

当用户做的很棒的时候,他也会出现。“我们用‘哇,你真是太棒了!’的感情鼓励文案与成长心态文案做了比较。两者都有好的效果,但是总的来说,成长心态文案更好。所以,我们最终采纳如下信息:‘哇哦,你的努力值得真正的回报。’”

多(Duo)教练的鼓励措施在团队中多少有些争议。“有些人不喜欢他,并且感到很厌烦,”Gotthilf说。一如既往,数据结果替他们说话:他们看到了14天活跃度提升了7.2%。“所以,因为在课程中增加了这个外语猫头鹰鼓励师,14天之后,他们获得了额外7.2%的用户再次回到多邻国。这让人感到异常惊讶。所以,我将保留这一教练。”

经验总结:有时,你需要将你的个人口味先放到一边,尤其是你自己的假设性观点。在本案例中,App的内置教练做的非常帮,几乎达到了与长期激励的奖章项目一样有效的结果。“其他时候,你可能真的对一个想法非常有热情,并且认为它会改变世界。那么,你用A/B试验去验证你的想法,你要知道如果你认为一件事情会发生,但实际上并没有发生,那么就继续前进。”

测试原则

这里分享的仅仅是Gotthilf团队进行过的70多种类型试验的4种。在多年职业生涯之中,一些宝贵的原则一直对Gotthilf很有帮助:无论是每次试验需要6行代码,还是单次试验需要进行六个星期争分夺秒的紧张推进。

做好优先级排序,快速推进,并且持续进行
如果你认为有无数个试验要去进行,那么你是对的。这也是你最需要限制自己的时刻。“这是A/B测试最困难的部分,”Gotthilf说。“每个人对于我们应该做哪个试验都有着不同的看法,所以设定优先级对于我们团队节省时间和减少悲伤是真的非常关键。”

然而,他们不会在头脑风暴的阶段就校对想法。任何一个有关试验的想法,无论在公司的什么地方提出的,都会被记录到JIRA系统中的Master列表。“我们的清单中有着数量庞大的各种想法。其中大概有75%都是废话,”Gotthilf说。“但是任何时候,有人进入会议室,有一次有启迪的对话,或者我们开始进行一次头脑风暴会议,我们会持续将这些想法加入到列表中。”

然后,大约按照每个季度两次的频度(“并不是非常频繁!”),Gotthilf 与她的团队会梳理一下这个列表,为新的试验寻找养料。当一个试验被选定时,他们会使用每个市场工作者都会使用的工具:ROI。仅需要搞清楚两个问题,你就能猜测出任何试验的回报率:

1. 这次试验带来的改变会影响多少人?
换句话说,这次改变会发生在转化漏斗的什么位置?比如在多邻国的例子中,注册页面的改变会比某个更深层的外语课程页面的改变影响的人更多,因为有更多的用户会访问注册页。他们同时也会考虑到哪些语言的用户、哪些操作系统的用户会被影响。

“考虑到这些领域,你会大概知道这次改变会影响多少人。接着你要问自己,‘如果试验是成功的,我们会提升目标转化人数几个百分点?’”Gotthilf说。“我们的指导原则是至少1个百分点。如果一次改变可以提升至少1个百分点的转化人数,我们则考虑上线新的版本。否则不会。”

当然,多邻国是一个发展成熟的产品,有200多万的用户分布在世界各地,它的1%与某个早期初创产品的1%不可等价相比。Gotthilf很少去以纯粹硬性数字指标作为参考,但是她的经验告诉她最小的硬性数字是100,000用户。

“统计性显著的结果是关键。粗略来看,为了统计显著,你应该至少有10W DAU来进行A/B测试。”

只要达到统计显著性之后,她所关心的全部问题就是百分比数字。“对于新App来说,你应该在相应规模下专注于通过A/B测试带来20%-30%的指标提升,”Gotthilf说。随着时间,这个数字会变化,你会注意到即便是你最成功的试验提升率也只有20%、接下来是15%,10%。这样子是没问题的;随着产品的发展,你也需要调整你的基准目标。“设定一个基准线是要点,这可以让你避免不加选择就推出任何新版本。”

这不是一个精确的科学。你需要决定什么指标能够最好的衡量成功(多邻国的指标是日活用户数DAU),并且学会你自己的使用模式。“随着你不断检查转化漏斗中的每个阶段,你会开始有一些感觉:你正在面对多少用户,哪里可能会产生流失。你也会学习某些行业基准,并且发展自己的直觉经验。”

2. A/B试验需要投入多长时间?
接下来,你需要评估你自己的团队需要投入多少时间,以及你需要哪些资源来落地一个试验。你是否认为,第二个试验比第一个减少一半的工程投入,两个试验会得相同回报?那好,这很可能就是你的制胜点。

改进并且不断重复

“每一个大试验都会挤出很多果汁”Gotthilf说。在多邻国考虑增加额外的成就奖章时:增加额外奖章导致DAU大幅下滑,于是增长团队将注意力放在将奖章功能做的更好上。“现在我们可以说:哪些额外奖章是我们想要的?它们会如何与多邻国的其他部分相互影响?这为我们打开了一扇大门,有更多的试验和方法来度量用户行为。”

人们总是激动于一些“大的想法”,一次产品外观的翻新或者某个颠覆性的功能可以为公司的核心指标带来火箭增长。然而现实并非如此,只有将那些更小的,甚至无法察觉的想法合并在一起,改变才会真正发生。

“你不得不控制大家进行无聊的微迭代工作,这样可能会获得1-2个百分点的指标提升,”Gotthilf说。“与此同时,为了达到你的目标,既需要阶段的跳跃增长,也需要持续的长期增长。关键点在于你需要有一个广泛的实验组合,这里既有风险大、回报大的赌注,也有很多万无一失的小赌注。”

如何磨练A/B测试策略保持自己的前进方向?

克制。在一次试验中,想要执行所有可能的想法是再正常不过的。“你可以对首页设计一个有70个版本的试验,并且运行。但是当你这么做的时候,你很难得到统计学的显著结果,而且容易在分析时候犯错,”Gotthilf说。“因此,每个实验不要超过3个版本:一个原始版本,两个实验版本。如果我们认识到自己想要一些其他的东西,我们会在这次实验结束之后再进行。”

立场坚定。有些试验是不应该进行的。并非这些试验不成功,而是说它们的成功需要你舍弃公司的原则或者牺牲品牌来满足。“在多邻国,实验设计是神圣的。我召回了一次App注册页面的实验方案。胜出的版本有一个带着笑容的卡通女孩。问题是,这个角色我们在公司任何地方都没有见过,我们的市场团队从设计团队中获悉这是一个没有商标的品牌”Gotthilf说,这种情况在之前公司的正式审核流程之中从没有出现过。“最后,我们放弃使用这个卡通形象,但是仍然继续进行其他试验来达到设计的要求标准,并且获得了同样数量的用户。我要承认,花费更多时间在这类设计问题上是令人沮丧的,然而保持原则在一个实验驱动组织中是重要的。”
我们一次会同时进行5-8个实验,但是在公司的其他地方我们会同时开始20,30或者80个试验。对于每个试验来说,很容易不知不觉的犯下类似的小错误。但是,你必须要坚持有些原则是不能妥协的。

整合在一起

A/B测试的价值我们众所周知。为了获得优势,最好的科技公司一直在持续不断的对他们产品的方方面面进行试验。当有人提到想要进行A/B测试时,不需要任何迟疑。在注册前,依次按照顺序设置软墙页面和硬墙页面的实验。给用户提供额外的机会保持使用习惯——无论是通过游戏化的streaks ,或者是通过用户自己设置目标的提醒。在进行试验时,小心使用MVP方式带来的失败,因为其中的“M(最小化)”是通过一部分“V(可行性)”的损失而达成的。拥抱行为心理学,掌握成长心态如何激励用户的信息。这些要领与 Gotthilf辛苦获得的原则一起,能够帮助任何增长负责人在试验之路一往无前。

“我们几乎用A/B测试来测试任何事情,并聚焦于产生结果的那些试验。没有结果的,则忽略。这是一种非常直接的看待事情的方式。作为依赖经验、个人主义,身份背景来做决策的替代,我们通过数据进行大量决策,”Gotthilf说。“但是,这里有一个重大例外。即便你是A/B测试的狂热粉丝,有一件事情也会超越数据的指引:使命。我们的愿景是将免费的外语教育带向全世界。我们为此是非常严肃的,并且为此每天都在进行试验。有一些想法我们永远不会尝试,比如设立付费课程,这与我们的信念背道而驰。但是任何其他符合使命的事情,我们都会尝试。这是我们抵达终点的最好赌注。”

作者介绍:Testin A/B测试是Testin的又一力作,是业界首家提供可视化测试、实时数据处理和私有化部署能力的A/B测试产品。作为数据驱动增长的坚定实行者,Testin A/B测试秉承“客户价值第一”的Testin公司理念,在保障客户数据准确性与客户数据实时性方面远超同行。

Tags:
X