实验将假设转化为知识。您无需争论哪个版本更好，而是进行测试并让数据来决定。本指南介绍了建立实验文化的方法、工具和实践。
为什么要尝试
降低风险
在完全投资之前验证假设。
客观决策
数据胜过观点和 HiPPO（最高薪人士的观点）。
持续改进
小优化积累大成果。
学习
即使是“失败”的实验也会产生见解。
实验类型
A/B 测试
两个版本。用户随机划分。比较指标。
多变量测试
多个元素的多种变化。更复杂。
分割 URL 测试
变体的不同 URL。更大的变化。
功能推出
逐步发布功能。监控影响。
坚持
组永远不会收到更改。比较基线。
方法论
假设
“如果[改变]，那么[指标]会因为[原因]而走向[方向]。”
设计
变体、样本、持续时间、指标。
实施
变体代码，正确的随机化。
分析
统计显着性、效应大小。
决定
实施、迭代或放弃。
统计意义
这是什么意思
结果并非偶然的概率。
P 值
约定：p < 0.05（95% 置信度）。
样本量
更大的样本=更强的统计能力。
持续时间
足够的时间获得足够的样品。
护理
不要过早地“窥视”结果。
实验指标
主要指标
你想改进什么。只有一个。
次要指标
其他需要监控的重要指标。
护栏
指标不能变得更糟。
领先与落后
早期指标与最终结果。
工具
谷歌优化
它是免费的，已停止使用。存在替代方案。
优化
企业。坚固且昂贵。
###VWO
物有所值。
启动黑暗
用于实验的功能标志。
分裂.io
功能交付平台。
统计
产品注重实验。
功能标志
它们是什么
打开/关闭功能的设置。
实验中的使用
为一定比例的用户激活功能。
终止开关
立即关闭有问题的功能。
逐步推出
1%→10%→50%→100%。
应用程序中的实验
移动 SDK
与实验工具集成。
注意事项
应用程序更新需要时间。远程标志有帮助。
细分
按版本、设备、位置。
变体设计
一次改变一个
隔离变量。找出造成差异的原因。
大胆的改变
太小的变化可能没有可检测到的效果。
多种变体
测试多个想法。有足够的样本。
常见陷阱
偷看
尽早查看结果并做出决定。使统计数据无效。
样本不足
不确定或假阳性结果。
多个指标
测试过多的指标会增加误报。
季节性
非典型时期会扭曲结果。
选择偏差
非代表性样本。
文档
实验日志
测试历史、假设、结果。
学习内容
他从不成功的实验中学到了什么。
###分享
整个团队从实验中学习。
实验文化
数量
很多实验。不是每个人都会赢。
速度
快速的测试周期。
谦虚
数据战胜信念。
学习庆典
“失败”的实验告诉我们是成功的。
结构实验
架构变化
困难的 A/B 测试。使用逐步推出和监控。
价格变化
敏感。按群体或市场进行测试。
核心产品变更
用于快速回滚的功能标志。
高级分析
事后细分
实验后分段分析。
实验之间的交互
多个同时测试可能会产生干扰。
长期影响
坚持小组来衡量持续影响。
何时不宜尝试
显而易见
Bug 修复不需要 A/B 测试。
监管
合规不是可选的。
低流量
它将没有任何意义。使用其他方法。
＃＃ 结论
实验是一门可以加速学习并降低风险的学科。清晰的假设、严格的方法论、数据文化。结果是一个基于证据而不是直觉发展的产品。
##常见问题解答
1) 测试应该运行多长时间？ 达到统计显着性的时间。计算器有帮助。
2) 有多少个同时实验？ 这取决于交通情况。谨防干扰。
3) A/B 测试在低流量时是否有效？ 很难。考虑定性测试或更大胆的改变。
4) 我需要专用工具吗？ 对于初学者来说，基本的[功能标志0 工作。工具有助于大规模。
5) 如何说服利益相关者尝试？ 显示结果。成功的实验可以推销实践。
另请阅读
- [应用中的 A/B 测试1
- [应用中的 AB 测试 - 企业完整指南2
- [应用中的AB测试-初学者完整指南3
- [数字化实验：基本指标和 KPI4
- [应用指标：验证快速指南5
- 【应用流失：如何减少并留住用户6