什么是A/B 实验

1. A/B实验的基本思想

A/B实验的基本思想就是：
我们在线上流量中取出一小部分（较低风险），完全随机地分给原策略A和新策略B（排除干扰），再结合一定的统计方法，得到对于两种策略相对效果的准确估计（量化结果）。
这一套基于小样本的实验方法同时满足了低风险，抗干扰和量化结果的要求，因此不论在互联网产品研发还是科学研究中，都被广泛使用。

2. A/B实验的应用一

Instead of saying 'I have an idea', what if you said 'I have a new hypothesis , let's go test it, see if it's valid, ask how quickly can we validate it.' And if it's not valid, move on to the next one. —— Satya Nadella CEO, Microsoft

微软CEO Satya Nadella 在business insider采访中，关于假设检验的这一段回答简练地描述了微软基于实验-分析-决策的数据驱动文化。
事实上，微软也是世界上最早采用A/B实验评估每一个重大feature的科技公司之一，从bing的搜索排序到MSN的交互设计，数据驱动的决策无处不在，每年为微软规避大量风险并创造可观回报。
下图，从bing这一侧面展示了微软实验平台同时运行的实验数量十年以来的井喷式发展。

3. A/B实验的应用二

另外值得一提的是，这一套基于假设检验的实验方法并非科技公司首创，其影响远比我们想象得深远，可靠性也已经得到了长足的验证。
比如，在医学界，每一种新型药物研发都会伴随着一系列动物实验和临床测试，这些实验的效果都会以类似但更为严格的假设检验方法进行评估，最终被认定安全有效的药品才会进入市场，造福患者。
下图所示就节选自某种放射性疗法在乳腺癌治疗中的有效性报告，红框中的95%CI（95%置信区间）和p（p-value）就是假设检验中常用的统计术语。

如今，大多数互联网产品野蛮生长的时代已经过去，人口红利到顶，产品策略需要从快糙猛的跑马圈地方式转向深耕细作的精细化运营方式，要精细化运营，就需要采用数据来驱动。
何为数据驱动？试想以下几种场景：

1. 小A凭着丰富的经验直接修改了产品的线上策略，一周后发现效果不升反降，遂下线。
2. 小B和小C同时上线了两个产品功能，一周后产品数据有下降，都认为是对方的问题，谁也不肯接锅。
3. 小D上线了一个新策略，随后进入十一黄金周，用户交互有所下降，小D觉得一定是假期埋没了自己的辛苦贡献，但也辩不明白，无处申冤。
4. 小E辛苦工作一整年，开发了365个不同的功能上线，年终写总结时却写不出到底在哪些方面究竟贡献了多少。

想必不论是研发还是产品运营，都不希望自己辛苦工作过后落入上述的几种尴尬的境地中，因此数据驱动业务增长就显得很有必要。
那么数据变化和产品动作之间到底存在什么样的因果关系呢？
假设，某互联网公司承载了上百万规模的DAU，每天大量新特性等待上线，一方面业务人员无法承担其中任何一个错误特性直接影响用户体验的严重后果，另一方面业务人员又希望能够分离并量化每个特性的影响。
因此，我们需要设计并坚持使用一套数据驱动的方法，使得业务人员可以以较小的风险对新feature进行评估，积极试错积累经验；并且我们设计的该方法有能力排除其他因素（比如同时开发的其他feature以及时间因素等）的干扰；最后，除了“好”或者“不好”，我们希望这个方法最好也能够给出定量的结果。
为了解决上述问题，普遍使用的方法论是小流量随机实验，也就是我们常说的A/B实验。