R语言arrow包读取CSV时列数不符及类型转换报错问题

问题1：列数不匹配（定义28列但实际识别29列） #

你定义的schema为28列，但arrow提示某行存在29列，用read.csv能读到29列但Excel看不到。核心原因是CSV文件行尾存在多余逗号：Excel会自动忽略末尾空列，但arrow和base R的read.csv会将其识别为一个空列。

处理步骤 #

• 用文本编辑器（如Notepad++）打开报错的CSV文件，检查行尾是否有多余逗号；
• 批量清理所有CSV的空列：

file.list <- list.files(pattern='*.csv')
for (file in file.list) {
  df <- read.csv(file, fileEncoding="latin1")
  # 删除全为空值的列
  df_clean <- df[, colSums(is.na(df)) != nrow(df)]
  write.csv(df_clean, file, row.names=FALSE, fileEncoding="latin1")
}

问题2：删除空列后出现类型转换错误 #

删除空列后报错提示第3列无法转换为date32，但你的schema中第3列是Age（int64类型），这说明列顺序偏移，或者CSV表头与schema字段顺序不匹配；同时原数据日期格式（如5/4/2000）与arrow默认的yyyy-mm-dd格式不兼容，也会导致转换失败。

处理步骤 #

1. 校验列顺序匹配
   打印CSV表头，与schema字段顺序对比：

   header <- readLines(file.list[23], n=1)
   strsplit(header, ",")[[1]]
   

   若表头与schema顺序不一致，要么调整schema字段顺序，要么确保open_dataset中schema的字段名与CSV表头完全对应（arrow会按字段名匹配，而非顺序，前提是CSV有表头）。

2. 指定日期解析格式
   针对Date、AD、DD等日期字段，自定义解析格式：

   # 定义CSV解析选项，根据实际日期格式调整（如"%d/%m/%Y"）
   csv_parse_opts <- csv_parse_options(
     date_format = "%m/%d/%Y",
     timestamp_format = "%Y-%m-%d %H:%M:%S" # 适配M_2的timestamp类型
   )
   
   ds1 <- open_dataset(
     file.list,
     schema = schema1,
     format = "text",
     skip = 1,
     delim = ",",
     unify_schemas = TRUE,
     parse_options = csv_parse_opts
   )
   

3. 清理数据异常值
   报错提到5/4/2000出现在Age列，说明该行存在数据错位，需要打开对应CSV文件修正该行的异常值。

额外注意事项 #

• 若CSV包含表头，open_dataset必须设置skip=1，避免表头被当作数据行解析；
• 对于EH_2的binary类型，若实际存储的是字符串，可将schema中该字段类型改为string()，避免不必要的转换错误。

内容的提问来源于stack exchange，提问作者doraemon