数字实验：适合刚起步的人的工具

当有人对数字实验感兴趣时，第一个问题通常是“我使用什么工具？”这是一个很自然的问题，同时也是一个错误的问题。

实验不是工具问题。这是一种思维方式。该工具只是运行您的大脑需要事先制定好的测试。从平台开始，而不了解其背后的推理，会导致设计不当的测试，产生看起来像科学的错误结论，这是世界上最糟糕的。

我想向那些刚刚起步的人传达的想法很简单：学会像在选择任何工具之前进行实验的人一样思考。当心态到位时，任何合理的工具都可以。如果不是，则不会保存任何工具。

体验的实际意义是什么

在数字产品中，实验是对部分用户进行更改测试，并将结果与未收到更改的用户进行比较。与其争论这个想法好不好，不如让人们的实际行为来回答。

最著名的格式是 A/B 测试：一半的人看到版本 A，一半的人看到版本 B，然后您观察哪一个版本生成更多您正在寻找的结果：更多点击、更多注册、更多使用。

这样做的美妙之处在于它用证据代替了意见。会议上，谁发言声音最大，谁就获胜。在实验中，有效的方法获胜。对于那些刚刚起步的人来说，理解这种交流是成功的一半，尝试是一种有组织的谦逊形式。

每一个有价值的实验都始于一个明确的假设。假设不是“让我们测试这个按钮的颜色，看看会发生什么”。这是一个可以被证实或被否认的陈述。

一个好的假设的形式是：“我们相信改变 X 会导致 Y，因为 Z”。例如：“我们相信，在注册前让价格可见将提高购买完成率，因为它减少了用户的不安全感。”

请注意，这一切都不依赖于工具。这是实验的智力工作，也是初学者犯最多错误的地方，他们在没有明确他们想要学习的内容的情况下就直接进行测试。如果没有机会，即使是最干净的结果也无法告诉你该做什么。

当您已经知道如何提出假设时，那么查看工具就有意义了。对初学者的建议是：从简单开始。

有一些专门用于 A/B 测试的平台，负责划分用户、显示变化和计算结果。它们很强大，但对于学习者来说，许多都是复杂且昂贵的。还有一些分析工具已经具有内置的比较功能，足以进行第一次实验。

首先，工具中最重要的是：它是否在版本之间公平地划分用户？它衡量的是您感兴趣的结果吗？你能明白它显示的是什么吗？如果答案是肯定的，那么它就有效。高级功能可以等到您有高级问题时再使用。

抵制住选择最奇特工具的诱惑。对于那些还不知道如何制定测试的人来说，强大的平台是一种昂贵的浪费。从你能用得好的开始。

初学者最常见的技术错误是从尚未“成熟”的测试中得出结论。您进行了两天的测试，看到版本 B 获胜并宣布胜利。

问题是，在数据很少的情况下，结果可能纯粹是运气。如果你抛一枚硬币四次并且出现三个正面，这并不能证明这枚硬币有偏差。产品也是如此：少数人短时间内做出的结果是骗人的。

因此，即使从简单的开始，也值得学习一条黄金法则：在结束之前让实验有足够的人和足够的时间进行。过早做出决定是尝试过多并学习错误的最常见方式。

##从小规模、低风险开始

对于那些刚刚开始的人来说，最好的第一个实验是做一些小事，如果出错也不会造成损害。按钮的文本、两个部分的顺序、空屏幕的消息。

这些测试教授完整的周期、提出假设、运行、等待、读取结果，而无需做出关键决策的负担。在尝试影响配方或产品核心体验的事物之前，您会获得实践和信心。

即使在一开始，也值得小心：在对真人进行测试时，您正在收集他们的行为。在巴西的背景下，这与[LGPD0 一致。负责任的实验意味着只收集测试需要的内容并明确原因。良好的实验和良好的数据使用从第一次测试开始就齐头并进。

那些对实验感到兴奋的人常犯的一个错误是他们想测试一切。但 A/B 测试是有成本的：它需要时间和大量用户才能提供可靠的响应。对于许多决策，有更快的学习方法。

如果几乎没有人在使用该产品，A/B 测试就不起作用，没有足够的人让结果具有任何意义。在这个阶段，与五个用户交谈并观察他们如何使用产品比任何统计测试都更能教会你。

还有一些小的、可逆的决定不值得进行正式实验。如果更改的成本较低且撤销成本较低，有时简单地实施并观察比进行测试更有意义。实验只是众多工具中的一种，但并不是所有问题的答案。

知道何时不尝试与知道何时尝试同样重要。当您拥有大量用户、做出重要决定并且真正怀疑要走哪条路时，A/B 测试就会发挥作用。除此之外，还有更好的捷径，认识到它们是成熟的标志，而不是懒惰的标志。

对于刚起步的人来说，最大的转折点就是没有掌握工具。它将实验变成一种习惯，当遇到疑问时，自然反应变成“我们如何测试这个？”而不是“谁决定这个？”。

培养这种习惯的团队会做出更好的决策，不是因为他们做对的事情更多，而是因为他们犯错误的次数更少并且学习得更快。每次失败的测试花费很少，但却能教会你一些东西。这与对直觉下了很大的赌注却后来发现它是错误的相反。

从小事做起，提出真实的假设，选择您理解的工具并对结果保持耐心。随着时间的推移，复杂性也会随之而来。心态是第一位的，这就是一切的关键。

如果您正在迈出实验的第一步，但不知道从哪里开始或哪种工具有意义，那么值得进行对话。博客上还有其他有关产品指标和决策文化的文本，有助于朝这个方向发展。