“从现在开始的十年内，当我们回顾大数据时代是如何发展时，我们会震惊于在以往做出决策时信息的匮乏。” －Billy Bosworth (DataStax CEO)
A/B测试方法，最早运用在医疗行业，作为早期测试，判断新药药效的方法，通过分组对照，科学的判断新药物会带来的影响。
而这种测试方法，也被带入到了互联网产品的迭代过程中，在发现了产品新的机会后，通过A/B测试来验证最有效的产品策略。
为什么使用A/B测试？
环境的不可预见因素，对用户行为理解的偏差，以及对多种方案实际效果的验证，都是进行A/B测试的原因，有效的A/B测试能够给团队带来显著的增效。
在进行A/B测试的时候，需保证单盲测试原则，注意对照组和实验组的目标用户需保持一致性，通过测试后统计的数据情况，例如用户的具体操作行为和体验反馈等，目标操作的点击或任务的完成度是不是提高，来评判测试用例是否起到了作用。
我们可以来看AppAdhoc的一个案例：
文案的力量也会影响很大，例如：
A/B测试的时机，投入与产出
A/B测试的测试方案应该安排在产品正式推送之前，在现有的用户当中去找出一小波典型用户，均分为两组，布下监测数据点，查看用户真实的操作情况和反馈，小范围的真实用户测试能够带来更加准确的反馈，并且在正式推送之前不会影响到其它未参与测试的用户，不影响产品当前本身的体验，如果发现任何异常，能够快速的撤下，高效便捷。
简单的A/B测试流程：
制定测试方案
在测试之前，编写好测试内容，选定测试对象，明确测试方法，以及预期的测试效果。
发布测试方案
发布测试方案可以选择静默发布和公开发布，通过对方案是否有需要进行选择，往往一些细微的功能调整，例如短文案，小的视觉变更等，或者变更本身不希望主动提示用户去尝试，影响测评结果等。
公开测试可能适合使用在一些创新性的功能或者是较大的功能改版需要对测试用户做出一定的描述让用户能够接受。
记录&分析
了解用户在测试过程中的反应，表情，动作，语言等，对测试对象的一些触发器进行锚点追踪，查看分析用户的使用频率，来界定测试方案是否起到了预期的效果。
撰写分析报告
收集团队成员积累的测试资料，对数据的变化以及用户的反馈进行较为深入的剖析，针对当前的测试版本提供合理的优化意见，并能够让团队的其他人从中获取需要的信息。
完善设计方案
通过分析报告的内容，来对设计方案进行调整，针对测试过程中发现的不足进行优化，并考虑是否进入到下一次的迭代过程中去，撰写迭代方案。
再次测试or上线
大部分的A/B测试只会进行一个周期，只有针对某些特别谨慎，或者是对研发周期限制很少，时间宽裕的团队来说，可能会进行第二次或者是第三次的测试，而大部分都会选择在一次优化后上线，然后将更新需求写入到下一版本的计划当中去。
A/B测试对团队资源占用较大，是在对自查和团队评审后，更加准确的一种测评方法，不会在每一个环节和功能上都去进行尝试，所以在工作中如果去使用，可能就需要根据团队的执行力以及个人的经验作出判断了。
（图片摘自：WAW2016上王晔博士《AB测试基本原理与背后理念》演讲文件）
