R语言大数据框按ID合并：for循环的高效替代方案

问题场景 #

处理大数据框时，需要根据ID将info中的信息合并到people中，原嵌套for循环在大数据量下效率极低：

示例数据 #

# 主数据框
ID <- c(12,44,56,16,18,29)
people <- data.frame(ID)

# 待合并的信息数据框
sex<-c("f","f","m","f","m","m")
age <- c(12,34,55,23,43,32)
ID2 <- c(44,12,16,18,56,29)
info <- data.frame(ID2,age,sex)

原低效嵌套循环代码 #

for (i in 1:nrow(people)) {
  for (j in 1:nrow(info)){
    if(people$ID[i] == info$ID2[j]){
      people$age[i] <- info$age[j]
      people$sex[i] <- info$sex[j]
    }
  }
}

高效替代方案 #

嵌套循环是逐行逐列匹配，时间复杂度为O(n*m)，大数据量下会非常慢。推荐用R内置的向量化合并函数，基于哈希匹配实现，效率提升明显：

方法1：Base R原生merge()函数 #

用merge()直接实现左连接，保留主数据框所有行并匹配对应信息：

# 按ID匹配，保留people的所有行
people_merged <- merge(people, info, by.x = "ID", by.y = "ID2", all.x = TRUE)

• by.x：指定主数据框的匹配列（people的ID）
• by.y：指定待合并数据框的匹配列（info的ID2）
• all.x = TRUE：确保主数据框的每一行都被保留，即使info中无匹配项

方法2：tidyverse的left_join()函数 #

如果习惯tidyverse语法，用dplyr包的left_join()更简洁直观：

library(dplyr)

people_merged <- people %>%
  left_join(info, by = c("ID" = "ID2"))

• left_join()默认保留第一个数据框（people）的所有行
• by = c("ID" = "ID2")明确指定两数据框的匹配列对应关系

这两种方法都是向量化操作，在大数据量下的运行速度远快于嵌套循环，能有效解决计算耗时过高的问题。

内容的提问来源于stack exchange，提问作者Pom