如何基于参考数据框的ID快速为600万行数据框创建Sex变量？

问题 #

需要通过匹配主数据框（600万行）与包含个体性别信息的参考数据框的ID，在主数据框中创建新变量Sex。当前使用循环的代码可实现功能，但运行耗时超10小时，原代码如下：

data.df$Sex_Varb <- NA

for(i in 1:nrow(data.df)){
  find.match <- which(data.df$ID_Varb[i] == Reference_Dat$ID_Varb)
  if(length(find.match) != 0){
    data.df$Sex_Varb[i] <- Reference_Dat$Sex[find.match]
  }
  
}

请问是否存在更快的跨数据集匹配值创建新变量的方法？

高效解决方案 #

循环遍历600万行之所以慢，是因为每次循环都要全量扫描参考数据框，效率极低。下面几种基于数据集连接的方法，都是经过优化的批量操作，速度会提升几个数量级：

1. Base R 原生 merge() 函数 #

无需额外安装包，Base R自带的merge()专门做数据集匹配，内部逻辑比循环高效得多：

# 左连接：保留主数据框所有行，匹配参考数据的性别信息
data.df <- merge(data.df, Reference_Dat[, c("ID_Varb", "Sex")], 
                 by = "ID_Varb", all.x = TRUE)
# 把匹配到的Sex列重命名为你需要的Sex_Varb
colnames(data.df)[colnames(data.df) == "Sex"] <- "Sex_Varb"

• all.x = TRUE 确保主数据框的每一行都保留，匹配不到ID的行，Sex_Varb会自动设为NA，和原代码逻辑完全一致。

2. dplyr 包的 left_join() #

dplyr是常用的数据处理包，代码更简洁，对大数据集有专门优化：

library(dplyr)

data.df <- data.df %>%
  # 只保留参考数据中需要的ID和Sex列，减少计算量
  left_join(Reference_Dat %>% select(ID_Varb, Sex), 
            by = "ID_Varb") %>%
  # 重命名列
  rename(Sex_Varb = Sex)

• left_join() 同样是左连接逻辑，匹配失败的行对应字段自动为NA。如果数据集特别大，可以搭配dtplyr包用data.table作为后端，进一步提速。

3. data.table 包（最快选择） #

data.table专为超大数据集设计，内存占用低、速度极快，600万行的操作通常几分钟就能完成：

library(data.table)

# 把数据框转换为data.table格式（原地转换，不占额外内存）
setDT(data.df)
setDT(Reference_Dat)

# 左连接，直接在主数据框中添加Sex_Varb列
data.df[Reference_Dat, Sex_Varb := i.Sex, on = .(ID_Varb)]

• on = .(ID_Varb) 指定用于匹配的ID列，i.Sex代表取参考数据框（即i表）中的Sex值。
• 这种操作是原地修改主数据框，不需要额外复制数据集，内存效率拉满。

内容的提问来源于stack exchange，提问作者alex