验证年龄随样本日期1年递增合理性的技术咨询

数据集与需求说明 #

• 数据集规模：约10000条记录，包含3000个唯一ID，每个ID对应2条及以上关联变量数据
• 核心需求：无出生日期字段时，验证年龄是否随sample_date（样本日期）呈现合理的1年递增趋势

案例参考 #

正确案例 #

错误案例 #

已使用的关联数据不匹配检查代码 #

此前已通过以下data.table代码识别ID关联数据的不匹配情况，运行效果良好：

library(data.table)
setDT(df)

# 获取每个ID最后一条记录的性别
df[df[,Sex[.N],by=ID], recent_Sex:=(i.V1), on="ID"]

# 标记每个ID是否存在性别不匹配
df[,mismatch:=any(recent_Sex!=Sex), by=ID]

当前问题与解决方案 #

目前年龄差超过1年的异常记录数量极少，可人工检查；但年龄差恰好为1年的记录约有3000条，需批量快速验证方法。以下是基于data.table的批量验证方案：

批量验证代码 #

library(data.table)
setDT(df)

# 1. 转换样本日期为日期类型（格式为dd/mm/yyyy，可根据实际调整）
df[, sample_date := as.Date(sample_date, format = "%d/%m/%Y")]

# 2. 按ID分组，按样本日期升序排序
df <- df[order(ID, sample_date)]

# 3. 提取相邻记录的日期与年龄
df[, `:=`(
    prev_date = shift(sample_date, type = "lag"),
    prev_age = shift(age, type = "lag")
), by = ID]

# 4. 计算相邻记录的日期差（转换为年）
df[, date_diff_years := as.numeric(difftime(sample_date, prev_date, units = "days")) / 365.25]

# 5. 标记年龄变化是否合理：
# - 日期差不足0.95年（约347天）：年龄应无变化
# - 日期差≥0.95年：年龄应递增1岁
df[, age_change_valid := ifelse(
    is.na(prev_date),  # 第一条记录无前置数据，默认标记为有效
    ifelse(date_diff_years < 0.95, prev_age == age, prev_age + 1 == age),
    TRUE
)]

# 6. 按ID汇总是否存在无效的年龄变化
df[, has_invalid_age_change := any(!age_change_valid), by = ID]

代码逻辑说明 #

1. 统一日期格式：确保sample_date为日期类型，避免排序错误
2. 排序与相邻数据提取：按ID和日期排序后，用shift函数获取前一条记录的日期与年龄
3. 日期差计算：将天数差转换为年，用365.25平摊闰年影响
4. 合理性判断：设置0.95年的阈值，避免因跨年但未满1年的情况误判；同时区分两种场景的年龄变化规则
5. 批量标记异常ID：直接汇总每个ID是否存在异常，只需针对标记为TRUE的ID进行人工复核，无需逐条查看记录

内容的提问来源于stack exchange，提问作者cd1