DavidW

最近，A/B测试在互联网各界都受到了甚至是不公正的批评。这些批评包含了A/B测试的一些相关要点，但基本论点是站不住脚的。这些批评混淆了（例如，测试红色与路色按钮的区别或是其他）与A/B测试方法之间的关系。现在让我们看下最近在网络上的些争论，为什么他们的批评是没有根据的。

争论一：A/B测试与局部极小化

Jason Cohen在他的文章《Out of the cesspool and into the sewer: A/B testing trap》 | 中文翻译版本：《[译文]小心A/B测试的陷阱：从水沟流入下水道的水》中认为：A/B测试往往得到的结果是局部最小值，而非真正想得到的全局最小值。对于那些把页面上每个区块作为提升转化率的部分，而又不清楚局部最小值与全局最小值区别的人来说。这就好比说，在网页里每个区块都是都是个变量：这些的数值自然越低越好。通过下面来自jason Cohen的图 ，就可以知道出局部最小值与全局最小值的区别。

即便是在jason文章里，争论的焦点也不在于A/B测试，因为激进的调整页面并使用相同的测试方法也可得到全局最小值。因此声称局部最小值是A/B测试陷阱是不公平的，因为这与A/B测试方法根本就没关系。相反，在争论中却揭示出微调并做测试的方法是徒劳无功的。

那么，如果A/B测试没有问题，那么是局部最小值的问题吗？即便打了折扣的局部最小值的理论是错误的，答案依旧是否定的。上面的图片展示了非常浅显易懂的一维度曲线。你可以把x轴当作背景色y轴当作跳出率。Jason的文章可以归纳为：如果测试了一组不同的蓝色，你可能减少跳出率。但如果你尝试着将颜色改掉（例如，黄色），你可能会得到可能是最低的跳出率。

下面是本争论的两个问题：

1、你永远都不知道是否已经得到了全局最低值

全局最低值仅存在于理论中。让我们继续之前的改为黄色背景得到跳出率全局最小值的范例。在进一步的测试中，如果我们发觉没有背景色得到更低的跳出率该怎么办？或者放置张可爱小猫的背景得到更低的跳出率呢？问题的关键点在于，除非可以把跳出率降低到0%（或转化率达到100%），否则你将永远怀疑自己是否达到真正意义上的全局最小值。

另一个检测是否找到全局最小值的方法是穷举所有可能性。理论上，你页面仅修改背景色（你不能使用背景图片，因为你老板讨厌用背景图）。那么你可以将所有可能的颜色尝试一遍并取其中最小值的方案。在穷举所有可能色彩中，那个得到最小值的背景色就有可能是全局最小值。这就带出了下一个问题…

2、这不仅仅是背景色的问题

当优化页面时，你需要面对成百上千的变量（背景色只是其中的一个）。标题、文案、布局、页面长度、视频、文字颜色、图片这些仅是其中的一小部分变量。优化页面取决于页面所有的一切。这意味着之前看到的曲线不只是我们所见到的一维的。在现实中，它是被上千个变量影响着的多维结构。

再强调一下，把图中的山峰想像成你的转化率（或是跳出率），变量在不同的维度上（尽管貌似就只有两个变量，但事实上有上百个）。与一维的例子不同的是，在真实页面上穷举所有可能性是不可能的。因此，你不必刻意去追求全局最大（最小）值。吸取教训：接受局部最小值。

争论二：A/B测试的细微改版

SEOMoz的Rand Fishkin写了篇《Don’t Fall Into the Trap of A/B Testing Minutiae》 | 中文翻译版本：《[译文]不要落入A/B测试的局部最小值陷阱中》的文章，在文中他重申了Jason关于不要浪费时间在测试页面细小元素上（如，标题，文字等）。他的主要论点是：使用细微改版得到局部最大值的方法花费了太多精力和时间，这样做并不值得。下面的图片来自他的博客，稍有调整。

首要指出的是机会成本不是需要足够的时间来测试（这可能需要以几周时间），而应该是设置测试的时间（这需要几分钟）。一旦设置好测试，就几乎是自动的，其风险仅是设置测试时花费的时间。如果，投资15分钟的时间可以进行次按钮颜色测试最终的结果可以提升1.5%的转化率，这还有什么错误吗？

许多A/B测试工具（包括我启动的visual website optimizer）可以很容易的进行小的测试。这些测试工具可以在后台监测测试，如果结果不理想就会自动停止。那么做这样的测试会有什么样的风险呢？我只看到好的一面：增加了销售额与转化率。
Rand为了证实自己的观点，他给出一份最近的Basecamp 首页重新设计稿，该设计将Basecamp转化率提升了14%。你能想像得到进行这样的一次重新设计（相比于改变按钮颜色测试）所带来的影响吗？事实上，由于曲线是在于多维度上的，一个完全的重新设计有很高的失败概率。复杂的重新设计导致失败的可能性要比改动一个按钮的颜色大得多。因为我们从来没有听说过重新设计导致失败的案例眼睛，我们也不能就此认为版面大幅度的改动要比版面微调的效果好（尤其是，版面大幅度改动所需要的投入与时间要比版面微调多得多）。

通过局部最小值，你至少知道转化率正在增长，这是往增长利润前进的方向。但这并不代表说将放弃追求全局最小化的目标。全局最佳就像是世界和平：很难达到目标，但我们一直朝着正确的方向努力。要吸取的教训是：理想的策略包含了小测试（红色与蓝色对比）与版面大幅度改动这两者。跳过转化率曲线山脉，可以确保你不断的找到更好的转化率。

争论3：

Jeff Atwood 写到电影《偷天情缘》（ 译者注：电影中的男主角是个气象预报员，在去一小镇报导当地的土拨鼠日庆典后。第二天醒来发觉时间依旧停留在前一天的土拨鼠日。昨日的一切又重复上演。无论他如何选择渡过这一天，他都无法前进一步。 ）与A/B测试相比，得出结论由于男主角失败了所以A/B测试也会失败。在jeff的所有比较中，他认为A/B测试缺乏激情并且扼杀创造力。他继续引用Natha Bowers的一tweet：

A/B测试就像是张砂纸。你可以用它优化细节，却不能用它创造新东西。

谁能声称A/B测试可以创造新东西呢？创意来自思维而非工具。这论点可以应用于画笔：

画笔好像一根棍子上粘了些毛发。你可以用它来戳你的猫，但你不能用它来创作东西。

A/B测试好比是个画笔，它只是一个工具如别的工具一样。它有自己的特性与局限性。它没规定你可以用来测试的东西；因此诶它也就不能约束你的创意。不管使用A/B测试与否，你可以使用自己全部的创意与想法为你的网站进行全新的设计。通过它可以使得你所用于网站的设计与技术更加合理，并评估新的设计是否比原有的更好。记住：A/B测试仅仅是一种方法，而不是设计指导。

总结：

重申上述三个点所得到的教训：

接受局部最小值，因为你永远不可能得到全局最小值。细节测试仅需要花费几分钟时间，但获得的潜在收入将远远超出花费这几分钟的价值。

1. 通过细节调整与重新改版的方式这两种方式不断的探索更好的方法提升转化率。
2. A/B测试仅仅是个工具，它不会扼杀你的想法（事实上，当在设计时你需要更多的想象力）。
3. 最后，不要觉得做A/B测试会产生任何罪恶感。

原文地址：《In Defense Of A/B Testing》
译文地址：《关于A/B测试批评的反驳》

在Jason Cohen最近的一篇文章英文版：《Out of the cesspool and into the sewer: A/B testing trap》 | 中文翻译版本：《[译文]小心A/B测试的陷阱：从水沟流入下水道的水》引起业界广泛注意与深刻反省。许多在网上营销的人都知道A/B测试所带来的能量：可以提高点击量、用户注册数量与转化率。可使访客在页面上进行动作可能性的百分比更高。
然而这些举动是充满着危险的，因为这些过程都是通过我们人为的揣测、设计、制作和测试得出来的。最不易引起注意的是许多内在的危险源自于测试内容是我们自己选择的。
“局部最小值”示意图

这个现象非常的确有趣，并且有时值得去测试landing page上的每个独立元素。但这种做法通常下不适合于在产品或landing page的刚开始阶段。正如转化率专家指出的：“我们需要把它们先挂到墙上观察其表现”的方法可得到小改进。但研究访客的问题与解决访客的这些问题是完全两回事。

问题太简单了以至于很多人认为很容易解答。

具有简单问题回答的测试页面

因此，提升转化率所需要做的就是改变按钮的颜色。

你之前所读过的案例或许类似于下面的样子：

• 将按钮的颜色从红色改为绿色获得72%的提升
• 使用“承诺复选框”后将转化率提升了11%
• 如何添加“免费的”提升28%
• 人头像照片将转化率翻倍
• 不知名的Twiitter follwing 命令测试

在上面所述的案例中，由于某些简单的改动使得转化率或点计量大大的增长，从而得到广泛的赞赏并且越来越流行。问题是，这是个例而非规律。事实上，这就是这些案例变得有新闻价值并得到如此多关注的原因。这不是说，你就不应该了解这些案例或是不接受这些案例中有价值的部分 (事实上你应该吸取有价值的部分)。但案例中的做法可以让市场人员的心理产生错误想法。

鲜有网站具有通过改变按钮的颜色或更改标题摆弄下文案就可以将转化率大大提升的经验。如果你有充分的理由觉得自己是个外行，那么就下决心去学习吧。只是要注意：通过小变化就可以产生积极的影响不是个事实。因为，你根本付不起之后花费的时间与精力。

使用简单令人信服的数学模型消除干扰

假设你在转化率提升方面做得非常优秀 – 对于你来说A/B测试与多变量测试是非常简单的事，在这方面你有很好的基础。在处理landing与测试版页面方面得心应手。
在这些理想的情况之下也会聚集着成堆的问题：

花费几周的时间去获得小小的增长是非常不值得的。

要知道，每次测试都需要花费大量的时间才能得出令人满意的数据。并且，更多的小规模测试(收益不多的测试)将花费更多的时间，这是要改为使用新的想法做大改动的原因。这也不是唯一要改变的原因。假如你对一个自己满意的页面/创意开始测试里面的元素-优化局部最小值。你也许需要4-6个月的时间，然后整体转化率提高了5%你觉得很满足了。

直到…

你开始实施另一个新想法大改动，发觉在测试中改进得更好。这就是我所推荐的方式：始于新想法大改动，省略那些想当然的测试。让你的用户先使用较好的那个方案，然后对其进行优化。

你应该进行的测试

什么是我所说的“新想法”与“大改动”呢？37signals昨天做的Basecamp页面重设计提供了个很好的例子。

他们记录到新版本比旧版本改善了14%。并且，现在他们可以考虑是否需要重新设计新方案或是优化在新版本中的小元素了。当然，这个小测试所取得的数值并不像有些会得到更大幅度的提高。我认为他们在用正确的方法做事。对于旧版本来说一个小的改动可能提升了相当多。而对于新版本来说，在一开始就有更高的转化率基数，因此许多的小改动都得益于更高的基数。
另一个很好的范例是：关于转化率专家为SEOmoz自己做的案例研究。该测试中PRO landing page的转化率提升了52%。额外的，在今年的4月份，我们创建了一个简短的，更少介绍的类landing page，该测试以小时为单位。我们希望它能够击败老版本页面。经过几周的测试后，这个页面没有获胜。接下来的夏天，我们将测试一些完全不同的版本以期待打败现有的页面版本。
在Stephen Pavlovich的文章里很好的描述了如何提高转化率与测试方法。在他的pdf很简洁的列出这些问题：

遵循这些步骤，不要沉迷于细节中。你将会使用自己的方式得到期望的效果。

英文原版地址：《Don’t Fall Into the Trap of A/B Testing Minutiae》
中文翻译版：《[译文]不要落入A/B测试的局部最小值陷阱中》

顺便提下，细心的同学应该能猜到了：《[译文]不要落入A/B测试的局部最小值陷阱中》 、《[译文]小心A/B测试的陷阱：从水沟流入下水道的水》是为接下来的:《In Defense Of A/B Testing》做的铺垫。

敬请期待！！

当本应该流入下水道的水，却停滞在水沟时。A/B测试就是个陷阱。

你不觉得A/B测试其实是类似于液体那样工作的吗？如果是不，那么我将给出正确的缘由。

在奥斯汀的某地的院子里经常有些深坑。依照常理说，水可以自然的流到大街的下水道里，但在重力作用下的水并不是这么工作的。

水总是在寻找院子里最低点，这个方法很狭隘。水并不考虑全局关系—即流到最低的地方。而是流向附近最低点。水并不知道越过栅栏就可以流到更低的地方，如：下水道。

在数学理论上，水达到的最低点不是“全局最小值”而是“局部最小值” 。也许水这是在一木障林了。

也许A/B测试有时也出现正如上述的情况

典型的A/B测试就像是这样：开始于某一点，然后改动其中一处。也许将标题由“酸奶酪将你挤垮？”改为“如何知道酸奶酪坏掉了？”然后进行测试，其中一个胜出。接着你又继续另外个测试“酸奶酪是好还是坏的？”将你改进的诸如此类的想法付诸行动后。一点一点的你会觉得收入也会随之增加。但事与愿违，往往不是这样的。

时常发生的情况是：做的小改动几乎起不到任何改进作用。并且，你很难意识到这一点。这时，你也许尝试放弃，但这也许是错误的。

你已经知道数学家所说的“局部最小值”也就是我说的“臭水沟”。 你要测试的是院子里流入最低点的水。彻底改变你的观点、话语、布局、价值主张、颜色，或是目标受众可能揭示的新的，断续的，不能增长的变化。真正的关注点在下水道（全局最小值—译者注），你需要越过障碍。由于全新地方寻找的利益有时要比改进有更好的提升。你需要从起点开始寻找那些不连续的点。

做好上述的事情你需要做好两方面：不仅需要将A增长到A2，也需应用于不同于A版本的B版本。这样一来，即可以得到由于小调整带来的增长，也可以通过改进某些地方来获得提升。这也许可以让你的收益增长的更快。

当你在玩弄新想法与新个性的时候，也需要有些微小的变化。

英文地址：Out of the cesspool and into the sewer: A/B testing trap
译文地址：《[译文]小心A/B测试的陷阱：从水沟流入下水道的水》