如何用Base R高效合并含不同缺失值的相同结构数据框？

要高效合并结构相同但缺失值位置不同的数据框并填补缺失值，最快的方式是使用Reduce函数结合向量化的缺失值填补逻辑，完全基于Base R原生操作实现，避免低效循环。

步骤说明 #

1. 定义向量化填补函数：接收两个数据框，将第一个数据框中的缺失值用第二个数据框对应位置的非缺失值替换。
2. 累积合并数据框：用Reduce从列表的第一个数据框开始，依次与后续每个数据框合并，逐步填补所有可获取的缺失值。

示例代码 #

# 初始场景代码
df1 <- df2 <- df3 <- df4 <- head(iris)
df1[4,2] <- NA
df2[3,5] <- NA
df3[2,]  <- NA
df4[2,2] <- NA
lst <- list(df1, df2, df3, df4)

# 定义填补函数：用b的非缺失值替换a中的NA
coalesce_dataframes <- function(a, b) {
  na_mask <- is.na(a)
  a[na_mask] <- b[na_mask]
  return(a)
}

# 累积合并所有数据框
filled_df <- Reduce(coalesce_dataframes, lst)

# 查看结果
print(filled_df)

为什么这是最优速度方案 #

• 向量化操作：缺失值掩码的生成和替换都是向量级别的，比逐行逐列的循环效率高几个数量级。
• Reduce的高效性：Reduce依次处理列表中的每个数据框，每次仅进行一次向量级替换，避免了额外内存开销和嵌套循环。
• 原生Base R实现：无需依赖外部包，原生函数的执行效率更优。

特殊情况说明 #

如果某个位置在所有数据框中均为缺失值，该位置会保留NA（无可用数据可填补）。

内容的提问来源于stack exchange，提问作者Karolis Koncevičius