You need to enable JavaScript to run this app. 如何使用data.table识别分组重复调研中的新增个体
优惠活动
大模型
产品
解决方案
定价
更多

如何使用data.table识别分组重复调研中的新增个体

分组多轮调研的新增个体识别实现

需求说明

你手上是附带个体唯一标识的分组多轮追踪调研数据,部分个体在首轮调研后才进入样本,需要按分组维度,筛选出每一轮调研中,相对该组所有前序轮次新出现的个体,最终输出包含所有新增个体明细的data.table对象。

示例输入

给定的初始数据构造代码如下:

group <- rep(1:2, each=9)
surv <- c(1,1,2,2,2,3,3,3,3,1,1,1,2,2,2,2,3,3) 
ind <- c("a","b","a","b","c","a","b","c","d",  "a","b","c", "a", "b","c","d", "a","b")
dat <- data.table(surv=surv, group=group, ind=ind)
setkey(dat, surv, group)

预期输出

需要得到的新增个体明细与以下结果完全匹配:

survey 2, group 1, "c"
survey 2, group 2, "d"
survey 3, group 1, "d"

初始代码的问题

你尝试编写的dat[surv==2, !(ind %in% surv==1), by = group]无法得到正确结果,核心问题有两个:

  • 运算逻辑颠倒:代码会先计算surv==1得到一组逻辑值,再用个体标识去匹配这些逻辑值,完全无法关联对应轮次的历史个体
  • 匹配范围未限定分组:没有加分组维度的匹配限制,会把其他组的同标识个体误判为已经在历史轮次出现过的样本

可落地的实现方法

方法1:标记组内个体首次出现轮次

核心逻辑:对每个分组下的每个个体,记录其第一次被调研到的最小轮次,首次出现轮次等于当前调研轮次的个体,就是对应轮次的组内新增样本。

# 计算每个组内个体的首次出现轮次
first_appear <- dat[, .(first_surv = min(surv)), by = .(group, ind)]
# 筛选首轮之后的所有新增个体,整理为目标输出结构
new_ind_per_surv <- first_appear[
  first_surv > 1,
  .(survey = first_surv, group, ind)
]
# 按调研轮次、分组排序,匹配预期输出的顺序
setorder(new_ind_per_surv, survey, group)

运行上述代码得到的结果与预期完全一致。

方法2:逐轮计算组内历史个体差集

如果需要灵活调整对比范围(比如仅和上一轮对比而非全历史轮次),可以逐轮拆分数据块做差集筛选:

# 按调研轮次+分组拆分数据,排除同组早于当前轮次出现过的个体
dat[, .SD[!ind %in% .SD[surv < .BY$surv, ind]], by = .(surv, group)][
  surv > 1
]

内容的提问来源于stack exchange,提问作者Seth W. Bigelow

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.04 02:45:04