基于参考文件清洗数据集：匹配ID与变量名批量替换值

针对你的需求——通过ID+变量名匹配，用Changes_file的新值替换data_set对应位置，且数据集规模为10000+行、300+变量，以下是高效实现方案：

核心思路 #

1. 先清理Changes_file：确保每个ID+Variables组合仅保留最新有效修改记录（避免重复替换）
2. 将Changes_file从长格式转为宽格式，对齐data_set的列结构
3. 用高效的连接匹配方法批量替换，避免逐行循环（循环在大样本下性能极差）

推荐方案1：data.table（超大数据首选） #

data.table的键连接更新性能远优于原生data.frame，适合10k行以上的大样本：

# 加载包
library(data.table)

# 将数据转换为data.table格式（大数据处理的最优载体）
setDT(data_set)
setDT(Changes_file)

# 第一步：清理Changes_file，保留每个ID+变量的最后一条修改（若有重复）
Changes_clean <- Changes_file[, .SD[.N], by = .(ID, Variables)]

# 第二步：转换为宽格式，让变量名成为列，新值填充对应位置
Changes_wide <- dcast(Changes_clean, ID ~ Variables, value.var = "New_Information")

# 第三步：动态批量替换（无需手动列300+变量）
# 提取需要更新的变量名（排除ID）
update_vars <- setdiff(names(Changes_wide), "ID")
# 复制原数据避免修改原始文件
data_set_new <- copy(data_set)

# 循环更新每个变量：匹配ID后用新值替换，无新值则保留原值
for (var in update_vars) {
  data_set_new[Changes_wide, on = .(ID), (var) := fcoalesce(get(paste0("i.", var)), get(var))]
}

推荐方案2：dplyr + tidyr（语法更直观） #

适合熟悉tidyverse生态的用户，性能也能满足10k行规模：

library(dplyr)
library(tidyr)

# 清理Changes_file，保留每个ID+变量的最后一条修改
Changes_clean <- Changes_file %>%
  group_by(ID, Variables) %>%
  slice_tail(n = 1) %>%
  ungroup()

# 转换为宽格式
Changes_wide <- Changes_clean %>%
  pivot_wider(names_from = Variables, values_from = New_Information)

# 批量替换：匹配ID后更新对应变量，未匹配的行保留原值
data_set_new <- data_set %>%
  rows_update(Changes_wide, by = "ID", unmatched = "ignore")

关键注意事项 #

• 类型一致性：确保data_set和Changes_file的ID列类型完全一致（同为字符/数值），否则会匹配失败
• 无效变量过滤：如果Changes_file里存在data_set没有的变量，可在update_vars中加入intersect(update_vars, names(data_set))过滤掉，避免报错
• 重复处理逻辑：如果Changes_file中存在同一ID+变量的多条记录，务必先清理（示例中取最后一条，可根据实际需求调整为第一条/特定条件）

内容的提问来源于stack exchange，提问作者Rama