在R语言中合并非唯一列以整合数据框

针对大型数据集的重复列合并需求，以下是两种主流语言的高效实现方案：

Python（Pandas）方案 #

利用Pandas内置的分组功能，直接按列名聚合提取非NA值，内存效率高、运行速度快：

import pandas as pd

# 构造示例数据（实际使用时直接读取你的数据集即可）
raw_data = {
    '2_2': [1, 2, None, None],
    '2_3': [2, 3, None, None],
    '2_4': [3, -1, None, None],
    '2_2': [None, None, 3, -2],
    '3_2': [None, None, -2, 4]
}
df = pd.DataFrame(raw_data)

# 核心合并代码
merged_df = df.groupby(df.columns, axis=1).first()

关键逻辑 #

• groupby(df.columns, axis=1)：将所有同名列归为一组
• first()：逐行提取每组内的第一个非NA值，完全匹配你需要的合并规则
• 该操作基于Pandas的C级优化引擎，无需手动循环，适合处理百万级以上行数的数据集

R 方案 #

优先使用data.table包处理大型数据（内存占用远低于基础R），结合coalesce函数快速合并：

library(data.table)
library(dplyr)

# 构造示例数据
df <- data.frame(
  "2_2" = c(1, 2, NA, NA),
  "2_3" = c(2, 3, NA, NA),
  "2_4" = c(3, -1, NA, NA),
  "2_2" = c(NA, NA, 3, -2),
  "3_2" = c(NA, NA, -2, 4),
  check.names = FALSE # 必须设置以保留重复列名
)

# 转换为data.table格式并合并
setDT(df)
merged_df <- df[, lapply(split.default(.SD, names(df)), function(x) do.call(coalesce, x))]

关键逻辑 #

• split.default(.SD, names(df))：按列名拆分数据，同名列为一组
• do.call(coalesce, x)：逐行取每组内的第一个非NA值，coalesce是专门处理NA值合并的高效函数
• data.table采用延迟加载和内存复用机制，适合处理GB级别的数据集

若偏好dplyr语法，也可使用以下代码（效率略低于data.table）：

library(dplyr)

merged_df <- df %>%
  group_by(across(everything())) %>%
  summarise_all(~first(na.omit(.)))

内容的提问来源于stack exchange，提问作者wrangler_98