以数据为导向的A/B测试平台，能带来什么？

泰康保险集团是包含保险、资管等核心产业的世界500强企业，同时是以移动互联网战略和数字化经营先进理念为发展路线的头部大型综合保险集团公司。

2019年，泰康集团牵头打造超级客户端-泰生活APP。作为泰康集团在互联网战略下的超级APP，承载着泰康数字化转型重任，泰生活致力于为全业务场景用户，提供统一的服务入口与高效的用户体验。

随着业务快速发展，用户量逐渐增大，泰生活APP产品迭代、营销活动的持续优化，受到了更高挑战：

• 验证新技术在实际业务中的能力，需要具备高效、科学、公正的分析技术平台；

• 提升产品迭代率，快速找到用户体验、用户转化最优方案，需要具备支持快速高效对比试验的平台。

对此，泰康集团科技中心携手火山引擎共建A/B测试平台，不仅为泰生活APP解决了以上运营难题，同时也为泰康全集团及其子公司提供了智能、科学的运营工具。A/B测试平台作为精细化运营开端，能从数据决策入手，逐步实现“数据决策-数据分析-数据策略设置-持续优化”闭环，达到用户体验与营销效率双提升！

火山引擎A/B测试用数据说话，帮助泰生活APP实现了更科学的决策。泰生活将继续践行数字化经营理念，为用户提供高效、贴心的服务。

——泰康保险集团·科技中心助理总经理兼泰生活产品管理部总经理 马天军

泰生活A/B测试落地应用

目前，A/B测试平台已应用于泰生活APP增长运营的各个阶段，以APP首页UI为例。在泰生活的运营过程中，发现APP首页亟需升级：

• 用户反馈首页布局不够清晰，许多业务无法快速找到；

• 处于泰康集团品牌升级过程中，业务需要替换和聚焦；

• 提供更好的使用体验，让用户可以无缝切换新版本。

基于以上考量，泰康还希望实时掌握APP以下几点：

• 新首页的重点指标变化是否符合预期？

• 是否存在指标大幅下降的风险情况？

• 一旦出现意外情况，是否可以及时回滚？

此时，A/B测试是最符合需求的产品迭代方式。通过A/B测试平台可视化实验，泰生活产品、运营和设计人员都可以自主参与首页改版设计。

产品团队首先进行了首页新版本的小流量测试，在决出优胜版本后，再通过feature flag智能发布，逐步从1%、5%、10%，再到30%，直至全量发布。此举在验证新版本有效性的同时，有效规避发布风险，提升迭代速度和质量。

泰生活首页与全部服务页 图源：泰生活APP

经A/B测试，泰生活平稳上线新首页后，目前：

• 头部icon误触率降低30%，页面布局更加清晰，用户可以快速找到所需业务；

• 直播板块用户转化率提升4倍，成功配合集团品牌升级需求；

• 整体转化提升1.5%，用户可无缝切换新版本，使用体验得到提升。

点击文末「阅读原文」，即可免费体验 火山引擎A/B测试 。

A/B测试不仅仅是个运营工具

通过A/B测试平台，泰生活APP成功解决了自身运营难题。泰康集团科技中心认为A/B测试平台，不仅仅是一个运营工具，更是能够助力集团文化和数据策略链路蜕变的有效途径。相较于依靠个人经验主观决策，A/B测试能从根本上改变决策链路，让数据引导业务，从而更科学地决策。

前不久，字节跳动副总裁杨震原在火山引擎技术开放日上介绍了A/B测试在字节跳动内部的实际应用。

字节跳动成立之初（2012年），今日头条就在做策略推荐类的A/B测试。2016年，字节跳动建立了支持大规模产品实验的A/B测试平台，之后陆续接入抖音、西瓜视频等全线业务。现在，A/B测试广泛应用于字节跳动内部，包括产品命名、交互设计、推荐算法、用户增长、广告优化和市场活动等方方面面的决策上。

至今，字节跳动每天同时进行的A/B测试达到上万场，单日新增实验数量超过1500个，覆盖400多个大大小小的业务。随着字节跳动发展，这些数字还在不断扩大。截至今年3月底，字节跳动累计已经做了70多万次A/B测试。

字节跳动产品 图源：字节跳动官网

每一次A/B测试，都会被产品经理和数据分析师应用，让业务迭代、功能研发有的放矢，将原本不确定的决策，变成真正数据驱动的决策。可以说，A/B测试平台支撑了整个字节跳动产品的高速迭代。

结语

作为产品工具，A/B测试从小到一个页面按钮的颜色，大到产品的大版本迭代升级，都能贡献自身价值。不仅如此，泰康集团科技中心认为A/B测试，更应该作为企业增长理念。让理念得到落实，进一步渗透到企业的血脉中，这才是A/B测试深层次的价值。

目前，A/B测试在泰生活APP已成功落地应用。未来，泰康集团科技中心希望“因地制宜”，结合泰康集团以及子公司相应情况，从“小范围试点”发展到“大面积推广”，让A/B测试平台在更多场景中发挥力量，助力集团更好地践行移动互联网战略和数字化经营先进理念。