敏感人群洞察--A/B测试-火山引擎

文档中心

导航

敏感人群洞察

最近更新时间：2025.05.12 20:37:49首次发布时间：2025.04.24 18:59:03

一、功能概述

敏感人群洞察功能是基于Uplift Model模型实现的一套智能洞察敏感人群的功能。是一种在营销、广告等诸多领域发挥独特作用的数据分析工具。与传统预测模型专注于预测事件是否发生（比如用户是否购买产品、病人病情是否好转）不同，它聚焦于预估某个干预行为对结果带来的 “额外提升” 效果。
比如某个实验整体下单转化率提升了8.04%，但希望提升转化的ROI，找到里面对活动更敏感的用户。通过敏感人群洞察分析，得到年龄和活跃度是对转化影响最大，并分析得到子人群年龄在21-30岁，活跃度在中高活跃的的用户在转化率指标上有15.23%的显著提升。该子人群为敏感子人群，可以作为活动的主要对象，提升ROI。

以营销派券场景为例，我们计划给用户发10元券来提升商品的购买率。我们希望针对哪些客户来发券呢？我们可以把客户分为四类：

Persuadables：不发送优惠券则不买，发送优惠券则购买；
Sure things：不论是否发送优惠券均会购买；
Lost causes:不论是否发送优惠券均不会购买；
Sleeping Dogs:不发送优惠券会购买，发送优惠券反而不买。

我们希望只针对那些不派券就不转化，派券就转化的客户（对应：Persuadables类客户）进行策略干预。敏感人群分析能力就是通过Uplift建模预测的方法精准找到对于此类干预动作更为敏感的人群，使我们可以把精力、资源精准投放在刀刃上，实现效益最大化。

二、典型应用场景

场景	案例
营销推广类	电商零售：大型商超连锁欲提升自有品牌商品销量，以往普发折扣券，成本高且部分发给了本来就会购买的顾客。Uplift Model 登场后，整合线上线下消费数据（购买品类跨度、购买频率、客单价、线上搜索记录等），锁定那些徘徊于竞品和自有品牌间、高频浏览但未下单的“摇摆顾客”，针对性发放优惠券，不仅销售额提升显著，还因精准投放节约了超 x%的营销预算，实现投入产出比飞跃
营销推广类	在线旅游平台旅游旺季前，平台计划推广热门目的地旅游套餐。借助 Uplift Model 深挖用户过往出行数据（出行时间偏好、住宿档次选择、游玩项目兴趣）、站内搜索收藏行为，识别出对特定目的地有潜在兴趣、近期多次关注但未预订的用户，推送专属优惠与个性化行程推荐，转化率相比随机推广提高近两倍，酒店、机票预订量大幅攀升，盘活旅游资源
金融服务类	银行信贷业务：在拓展信用卡新用户及提升活跃度上，银行运用 Uplift Model 综合考量用户收入稳定性、消费习惯、已有金融产品持有情况等多维度信息，精准找出给予开卡礼、消费返现优惠后，会从低频使用储蓄账户转为高频用卡消费、按时还款的优质潜在客户，有效管控风险同时，新用户开卡量季度增长 x%，刷卡交易额同步上扬。
互联网科技类	内容平台用户留存：视频流媒体平台为提升用户粘性、减少流失，通过 Uplift Model 剖析用户观看历史（题材偏好、观看时长分布）、互动行为（点赞、评论、收藏频率）、登录时段等数据，针对有流失迹象（观看频次骤减、长时间未登录）但推送个性化内容推荐、专属会员权益后有望回归且延长观看时长的用户及时干预，月活用户留存率提升超 x%，内容传播深度广度拓展。

三、功能入口

路径：AB实验列表选择某实验-数据指标TAB-敏感人群洞察

说明：分析任务需要一定的进组数据和指标转化才可以分析。实验创建当日不支持分析任务创建。

三、各模块介绍

3.1 创建任务

任务是对一个实验中“一个指标、一个实验组、一个对照组”进行分析
确定要分析的指标和挖掘方向，根据业务经验选择可能对指标有影响的用户属性后，即可提交分析任务。

字段名称	说明
任务名称	符合名称字段输入规范，支持中英文，特殊符号及长度上限需确认。空，从实验报告进，默认填写实验名称
实验	从实验报告进，默认带入实验信息
对照组	分析任务的对照组
实验组	分析任务的实验组，施加了希望分析的策略
分析指标	一次分析只针对一个指标指标支持类型：人均类指标。
挖掘方向	挖掘方向中正向挖掘是指找到那些对指标提升更有作用的人群，比如找到更可能购买的客户（购买转化率提升）；负向挖掘是指找到对指标下降更有作用的人群，比如找到更不可能流失的客户（流失率下降）
时间范围	时间范围是指利用哪一段时间的进入实验的用户作为样本进行训练和建模。
用户属性	分析哪些维度对识别敏感人群有显著作用，并挖掘这些维度交叉下的敏感人群

备注说明：模型需要一些数据积累，才能更好的建模和分析。建议分析任务进组人数大于20,000，分析维度大于4维

3.2 任务状态

任务头部页签，查看任务状态。分为运行中、已完成、出错等状态。

对运行中的状态，可以通过任务面板，查看任务运行状态。
任务运行过程中会分为：数据准备、模型训练、模型预测和结果输出四个阶段

四、分析报告

4.1 报告总览

TOP敏感人群是指，在重要特征交叉子人群中，与挖掘方向一致的提升，且显著的子人群的集合。

备注：相对差贡献可能为负数，主要出现在实验整齐是负向，但是挖掘方向是正向，且存在正向敏感子人群的情况下（反之亦然）。比如实验整体点击率实验组与对照组相比表现为负向，但是能够找到点击率实验组比对照组好的子人群。

描述	截图
本次任务是否可得到敏感人群，并分析敏感子人群的提升效果。同时输出特征重要性，帮助业务挖掘人群的核心差异维度，并提供可解释性。总体是指分析任务所选择分析版本以及时间段下所有实验进组用户。敏感人群是指在总体人群中，重要特征两维交叉子人群总与挖掘方向一致，有显著指标表现子人群的集合。例：交叉子人群1，交叉子人群2的显著性是显著，敏感人群 = 交叉子人群1和交叉子人群2的人群集合，人数相加，重新计算相对差、绝对差与相对差贡献。

描述

截图

本次任务是否可得到敏感人群，并分析敏感子人群的提升效果。
同时输出特征重要性，帮助业务挖掘人群的核心差异维度，并提供可解释性。
总体是指分析任务所选择分析版本以及时间段下所有实验进组用户。
敏感人群是指在总体人群中，重要特征两维交叉子人群总与挖掘方向一致，有显著指标表现子人群的集合。例：交叉子人群1，交叉子人群2的显著性是显著，敏感人群 = 交叉子人群1和交叉子人群2的人群集合，人数相加，重新计算相对差、绝对差与相对差贡献。

4.2 重要特征交叉子人群

重要特征交叉子人群指的是基于模型分析出的特征中，取TOP 3重要度的特征，做2维交叉下钻分析。

描述	截图
展示信息：人群占比：该子人群（包括实验组和对照组）占整体实验进组人数的占比绝对差：该子人群中实验组的指标均值与对照组的指标均值的差相对差：该子人群中实验组的指标均值与对照组的指标均值的差/对照组的指标均值相对差贡献：该子人群中实验组的指标均值与对照组的指标均值的差/整体实验组的指标均与对照组的指标均值的差 p - value：p值，当原假设为真时所得到的统计数据（如两组样本数据平均值差）会大于或等于实际观察到的结果的概率

描述

截图

展示信息：

人群占比：该子人群（包括实验组和对照组）占整体实验进组人数的占比
绝对差：该子人群中实验组的指标均值与对照组的指标均值的差
相对差：该子人群中实验组的指标均值与对照组的指标均值的差/对照组的指标均值
相对差贡献：该子人群中实验组的指标均值与对照组的指标均值的差/整体实验组的指标均与对照组的指标均值的差
p - value：p值，当原假设为真时所得到的统计数据（如两组样本数据平均值差）会大于或等于实际观察到的结果的概率

4.3 子人群下载

通过右上方人群下载按钮，客户获取用户的明细数据，包括以下信息：

字段	含义
treatment	1表示任务中选择的实验组，0表示任务中选择的对照组
uid	DataTester平台中定义的用户id
app_id	火山引擎平台中定义的app_id
activation_channel，activation_type，p_version等	任务分析中选择的属性
ite	是 **** Individual Treatment Effect（个体处理效应）的缩写，表示某个特定个体在受到某种干预（Treatment）与未受干预时的结果差异。该值为模型预测值。
bins	基于ITE值排序，将ITE值分成10个区间，每个区间对应一个bins值
uc2	客户系统中定义的用户id（客户可使用该id识别）

示例：