如何在R中合并多个DataFrame时不覆盖已有非NA值？

问题描述 #

现有初始DataFrame：

df <- data.frame("State" = c("AK", "AK", "AZ", "AZ", "AR", "AR"),
                 "County" = c("Anchorage", "Juneau", "Pima", "Maricopa", "Arkansas", "Washington"),
                 "Population" = c(200, 30, 100, 3000, 20, 200))         

通过循环为每个州生成了多个包含计算列的小型DataFrame：

df_AK <- data.frame("State" = c("AK", "AK"), 
                    "County" = c("Anchorage", "Juneau"),
                    "new_column" = c(30, 10))
df_AZ <- data.frame("State" = c("AZ", "AZ"),
                    "County" = c("Pima", "Maricopa"),
                    "new_column" = c(100, 20))
df_AR <- data.frame("State" = c("AR", "AR"), 
                    "County" = c("Arkansas", "Washington"),
                    "new_column" = c(10, 50))

期望得到合并后的最终DataFrame：

df_final <- data.frame("State" = c("AK", "AK", "AZ", "AZ", "AR", "AR"),
             "County" = c("Anchorage", "Juneau", "Pima", "Maricopa", "Arkansas", "Washington"),
             "Population" = c(200, 30, 100, 3000, 20, 200),
             "new_column" = c(30, 10, 100, 20, 10, 50))  

尝试先给df新增空列再用full_join时，发现合并后续州的DataFrame时，之前合并的州的new_column值会被覆盖为NA，需要解决这个问题。

解决方案 #

方法1：先合并所有小型DataFrame，再与原表关联 #

先把所有按州生成的小表合并成一个完整的计算结果表，再用left_join和原表关联，这是最直接的方式：

# 加载dplyr包（未安装先运行install.packages("dplyr")）
library(dplyr)

# 合并所有小DataFrame
combined_small_dfs <- bind_rows(df_AK, df_AZ, df_AR)

# 和原df关联，保留所有原数据并匹配计算列
df_final <- left_join(df, combined_small_dfs, by = c("State", "County"))

这种方式不会出现NA覆盖的问题，关联时只会匹配对应State和County的new_column值，原表中已有的数据不会被修改。

方法2：逐个合并时用coalesce保留非NA值 #

如果必须逐个合并小表，可以在每次合并后用coalesce函数保留已有的非NA值，避免被后续合并产生的NA覆盖：

library(dplyr)

# 初始化带空列的临时表
df_temp <- df %>% mutate(new_column = NA_real_)

# 逐个合并并保留非NA值
df_temp <- df_temp %>% 
  full_join(df_AK, by = c("State", "County")) %>% 
  mutate(new_column = coalesce(new_column.x, new_column.y)) %>% 
  select(-new_column.x, -new_column.y)

df_temp <- df_temp %>% 
  full_join(df_AZ, by = c("State", "County")) %>% 
  mutate(new_column = coalesce(new_column.x, new_column.y)) %>% 
  select(-new_column.x, -new_column.y)

df_temp <- df_temp %>% 
  full_join(df_AR, by = c("State", "County")) %>% 
  mutate(new_column = coalesce(new_column.x, new_column.y)) %>% 
  select(-new_column.x, -new_column.y)

df_final <- df_temp

coalesce会返回第一个非NA的值，这样就能保留之前合并好的数值，不会被后续合并产生的NA覆盖。

方法3：改进循环过程，避免生成单独的小DataFrame #

在循环时直接收集所有计算结果，而不是生成df_AK、df_AZ这类单独的表，从根源简化流程：

library(dplyr)

# 遍历原表中的唯一州
states <- unique(df$State)
result_list <- list()

for (state in states) {
  # 此处替换为你读取文件并计算的实际逻辑，示例用现有小表模拟
  if (state == "AK") {
    temp_df <- df_AK
  } else if (state == "AZ") {
    temp_df <- df_AZ
  } else if (state == "AR") {
    temp_df <- df_AR
  }
  result_list[[state]] <- temp_df
}

# 合并列表中的所有结果，再和原表关联
combined_result <- bind_rows(result_list)
df_final <- left_join(df, combined_result, by = c("State", "County"))

这种方式更高效，也避免了管理多个单独DataFrame的麻烦。

内容的提问来源于stack exchange，提问作者Jennifer