创业公司也可以将A/B测试融入到产品迭代中

彩云天气是一款通过人工智能技术对中央气象台的雷达数据进行挖掘，来进行分钟级别天气预报的应用。

不同于其他天气软件只能预报一个笼统的“局部地区阵雨”，通过手机定位，彩云天气可以根据用户当前位置，做出未来一小时内几点几分下雨、什么时候雨停的精准预报，从而帮助用户决定出行方案。除此之外，彩云天气面向农业、交通等受天气影响较大的行业企业，开放API接口，提供企业级的气象服务。

2014年4月上线至今，彩云天气已累计服务数千万个人用户，通过其他APP进行数据调用的用户量达到亿级，数据的每日调用量达到数亿次。

作为一款数据驱动的产品，彩云天气非常重视用A/B测试来加速产品迭代。

2019年，彩云天气曾自建A/B测试平台，并进行过数十次实验。但自建的A/B平台功能简单，无法满足业务发展需求。近期，彩云天气接入火山引擎的A/B测试平台。

为了优化APP的使用体验，彩云天气想了解天气数据的展示样式，以及“反馈天气”的按钮样式对用户认知的影响与使用，为此彩云天气设计了一组实验：

• 对照组：天气数据的展示样式略为简单，“反馈天气”的按钮在天气数据下方；

• 实验组A：新方案A，天气数据的展示更为醒目，“反馈天气”的入口按钮调整至上方；

• 实验组B：新方案B，在方案A的基础上对反馈天气入口做了调整，主要用于检验按钮样式对用户认知的影响与使用。

实验运行60天后，数据显示，实验组A的主页分享率相较于对照组提高了13%，天气反馈提高了3%，综合起来比对照组效果更好。最终新用户次留相对于对照组也提升了2%。

为了提升会员转化率，彩云天气对会员中心的显示样式也进行了A/B实验：

• 对照组：当前彩云天气的会员中心设计；

• 实验组A：调整会员样式和价格显示，确保会员状态与价格信息更显著，并新增价格折扣提示；

• 实验组B：在实验组A的基础上调整会员显示方案。

实验运行32天后，数据显示，相比对照组，实验组A、实验组B的试用会员转化率分别提升了2%、1.2%。在会员购买转化率上，实验组A相比对照组提升了1.3%。虽然数据提升不多，但也给后续的产品迭代计划提供了一些方向。

众所周知，字节跳动是一家数据驱动的公司，而A/B测试正是字节跳动数据驱动理念的最佳落地实践。在字节跳动内部，A/B测试广泛应用于产品命名、交互设计、推荐算法、用户增长、广告优化和市场活动等方方面面的决策上。

在国内，除了字节跳动，阿里巴巴、腾讯、美团等大型互联网公司也在日常使用 A/B测试。那么，A/B测试是否只适用于大型互联网公司？中小型的创业企业能否将A/B测试融入到日常的产品迭代中？

彩云天气就是很好的案例。彩云天气的主体公司彩云科技目前在职员工将近50 人，主要产品彩云天气DAU达数百万级。彩云科技认为，作为一款天气类产品，彩云天气具有明显的数据驱动特性，产品功能迭代的速度要求很高。这样的情况下，公司也可以像大型互联网企业一样，将A/B测试融入到产品迭代的每一步中，加快产品迭代速度。

除了数据驱动型公司，策略驱动型的创业型企业，也适合日常使用A/B测试。今日头条成立初期，就以做策略推荐类的A/B测试为主。

事实上，无论公司大小，当一款产品满足以下条件时，就可以考虑使用A/B测试。

• 数据驱动决策的场景；

• 网站或APP的日流量不低于1000，最好在1w+；

• 重大产品功能很难决策，不确定哪个方案效果最优；

• “后验”成本很高，即如果改版失败，业绩损失无法挽回等。

这些条件，并非互联网大厂所独有，大多数中小企业也可以使用A/B测试，让数据驱动真正落地，而不是停留在空中。