R语言bind_rows合并CSV文件类型报错及冗余列问题排查

问题根因 #

• bind_rows()类型报错：read_csv()默认自动推断每列数据类型，不同CSV文件里的updated_at列内容格式不统一：部分文件中该列存在非标准时间格式值、异常空值时会被识别为字符型，格式合规的文件中则被识别为datetime<UTC>类型，同名列类型不一致直接导致行绑定失败。
• 之前的修复逻辑无效：一是类型转换代码写在bind_rows()之后，流程在行绑定阶段就会中断，根本执行不到转换步骤；二是as.datetime不是R的标准时间转换函数，且对所有字符列批量转时间会把id、德语文本、标题这类非时间列全部转为无效缺失值，逻辑本身存在错误。
• 冗余...29/...30列：部分CSV文件行尾存在多余逗号，读取时被识别为无表头的空列，read_csv()会自动给这类无名列补命名。
• 德语文本乱码：读取时未显式指定编码，依赖系统默认编码很容易出现UTF-8解析异常，不需要提前用LibreOffice预处理源文件，读取阶段指定编码即可解决。

可直接运行的修复代码 #

1. 批量读取阶段统一列规则，从根源避免冲突 #

不要依赖read_csv()的自动类型推断，读取时就固定所有列的类型，直接跳过空列：

library(tidyverse)
library(readr)

path = "C:\\Users\\User\\Documents\\data\\Reports\\2013"
# 获取目录下所有CSV文件路径
csv_files <- list.files(
  path = path,
  pattern = "*.csv",
  full.names = TRUE
)

# 取第一个文件的列结构作为基准，也可以手动写需要保留的列规则
base_col <- spec_csv(csv_files[1])
# 强制时间列先按字符型读取，避免自动推断类型冲突
base_col$cols[["updated_at"]] <- col_character()
base_col$cols[["created_at"]] <- col_character()
# 直接跳过末尾无名空列，不读入内存
base_col$cols[["...29"]] <- col_skip()
base_col$cols[["...30"]] <- col_skip()

# 批量读取+行绑定
combined2013 <- csv_files %>% 
  lapply(function(x) read_csv(
    x,
    col_types = base_col,
    locale = locale(encoding = "UTF-8"), # 显式指定UTF-8适配德语文本
    show_col_types = FALSE # 关闭列类型打印提示
  )) %>% 
  bind_rows()

2. 绑定完成后单独转换时间列 #

行绑定完成后，只对需要转时间格式的列做转换，解析失败的异常值会自动存为NA，不会中断流程：

combined2013 <- combined2013 %>%
  mutate(
    across(c(updated_at, created_at), ~as_datetime(.x, tz = "UTC")),
    Year = 2013
  )

3. 冗余列兜底清理 #

如果不确定哪些文件存在额外空列，读取完成后可以直接删除所有全为空值的列，彻底清除冗余：

combined2013 <- combined2013 %>%
  select(where(~!all(is.na(.x))))

# 需要排查具体解析错误时，运行下面代码查看详情
# parse_problem <- problems()

4. 导出合并结果 #

write.csv(
  combined2013,
  "C:\\Users\\User\\Documents\\data\\Reports\\2013\\Reports_2013.csv",
  row.names = FALSE,
  fileEncoding = "UTF-8"
)

注意事项 #

• 类型统一必须放在读取阶段做，不要等bind_rows()报错后再做转换
• 禁止对所有字符列批量转时间类型，会导致文本类列数据全部丢失
• 直接在读取时指定编码比手动用LibreOffice预处理源文件更稳定，不会引入额外格式问题

内容的提问来源于stack exchange，提问作者Ranji Raj