R中bind_rows合并数据框出现含NA值Distance_Miles重复列问题

出现Distance_Miles列重复、一列全为NA、另一列被自动加下划线后缀重命名的核心原因，是待合并的12个数据框里，至少有一个数据框的该列列名存在不可见特殊字符/首尾多余空格，和其他数据框的同名列实际名称不完全匹配，和使用tibble还是base R的data.frame格式没有直接关系。bind_rows做行绑定时严格按列名精确匹配，只要列名不完全一致，就会被识别为两个独立列，匹配不到值的位置自动填充NA，出现名称冲突时会自动给后出现的列加下划线后缀避免重名。

• 第一个问题：导入CSV时用tibble替代base R的data.frame，不能避免该问题。tibble仅调整了普通data.frame的打印规则、部分索引行为，不会自动清洗列名中夹带的特殊字符，只要列名本身不统一，无论哪种数据结构，bind_rows都会将其识别为不同列。
• 第二个问题：不需要调整bind_rows的调用写法，问题出在合并前各数据框的列名不统一，并非合并函数的语法错误导致。

第一步：定位列名异常的数据源 #

先批量检查所有待合并数据框的距离列名，找到列名存在异常的文件：

# 将所有待合并数据框存入列表，方便批量处理
df_list <- list(X2020_08, X2020_06, X2020_05,
                X2020_04, X2020_03, X2020_02, X2020_01,
                X2019_12_Dur, X2019_11, X2019_10, X2019_09)

# 逐个打印每个数据框中包含Distance关键词的列名，定位异常
for(i in seq_along(df_list)){
  target_cols <- grep("Distance", colnames(df_list[[i]]), value = TRUE)
  cat("第",i,"个数据框的距离列名：", paste0(target_cols, collapse = " | "), "\n")
}

运行后即可看到某一个/几个数据框的距离列名夹带尾部空格、不可见特殊字符，和其他文件的标准Distance_Miles列名不一致。

第二步：合并前统一清洗列名 #

最稳妥的处理方式是导入所有CSV后，先统一清洗所有数据框的列名，去除多余空格、特殊字符，保证所有待合并数据框的列名完全一致后再做行绑定：

library(dplyr)
library(stringr)

# 批量清洗每个数据框的列名
clean_df_list <- lapply(df_list, function(df){
  colnames(df) <- colnames(df) %>% 
    str_trim(side = "both") %>% # 去除列名首尾的多余空格
    str_replace_all("\\s+|[^[:alnum:]_]", "_") %>% # 将非字母数字、非下划线的特殊字符统一替换为下划线
    str_replace_all("_+", "_") %>% # 将连续多个下划线合并为单个下划线
    str_remove_all("_$") # 去除列名尾部多余的下划线
  return(df)
})

# 列名统一后再合并，不会出现重复列问题
all_trips_raw <- bind_rows(clean_df_list)

关于你之前写的去重列代码的风险提醒 #

你之前用duplicated(colnames(my_df))删除重复列的逻辑存在数据丢失风险：该函数默认保留第一个出现的同名列，删除后续同名列。但在你当前的异常结果中，第一个出现的Distance_Miles是全NA的空列，真正存储实际数据的Distance_Miles_是后续列，直接运行这段代码会把存了有效数据的列删掉，仅保留空列。

内容的提问来源于stack exchange，提问作者mikeah21