如何使用data.table识别分组重复调研中的新增个体
分组多轮调研的新增个体识别实现
需求说明
你手上是附带个体唯一标识的分组多轮追踪调研数据,部分个体在首轮调研后才进入样本,需要按分组维度,筛选出每一轮调研中,相对该组所有前序轮次新出现的个体,最终输出包含所有新增个体明细的data.table对象。
示例输入
给定的初始数据构造代码如下:
group <- rep(1:2, each=9) surv <- c(1,1,2,2,2,3,3,3,3,1,1,1,2,2,2,2,3,3) ind <- c("a","b","a","b","c","a","b","c","d", "a","b","c", "a", "b","c","d", "a","b") dat <- data.table(surv=surv, group=group, ind=ind) setkey(dat, surv, group)
预期输出
需要得到的新增个体明细与以下结果完全匹配:
survey 2, group 1, "c" survey 2, group 2, "d" survey 3, group 1, "d"
初始代码的问题
你尝试编写的dat[surv==2, !(ind %in% surv==1), by = group]无法得到正确结果,核心问题有两个:
- 运算逻辑颠倒:代码会先计算
surv==1得到一组逻辑值,再用个体标识去匹配这些逻辑值,完全无法关联对应轮次的历史个体 - 匹配范围未限定分组:没有加分组维度的匹配限制,会把其他组的同标识个体误判为已经在历史轮次出现过的样本
可落地的实现方法
方法1:标记组内个体首次出现轮次
核心逻辑:对每个分组下的每个个体,记录其第一次被调研到的最小轮次,首次出现轮次等于当前调研轮次的个体,就是对应轮次的组内新增样本。
# 计算每个组内个体的首次出现轮次 first_appear <- dat[, .(first_surv = min(surv)), by = .(group, ind)] # 筛选首轮之后的所有新增个体,整理为目标输出结构 new_ind_per_surv <- first_appear[ first_surv > 1, .(survey = first_surv, group, ind) ] # 按调研轮次、分组排序,匹配预期输出的顺序 setorder(new_ind_per_surv, survey, group)
运行上述代码得到的结果与预期完全一致。
方法2:逐轮计算组内历史个体差集
如果需要灵活调整对比范围(比如仅和上一轮对比而非全历史轮次),可以逐轮拆分数据块做差集筛选:
# 按调研轮次+分组拆分数据,排除同组早于当前轮次出现过的个体 dat[, .SD[!ind %in% .SD[surv < .BY$surv, ind]], by = .(surv, group)][ surv > 1 ]
内容的提问来源于stack exchange,提问作者Seth W. Bigelow
相关产品推荐
相关产品推荐

