使用R将超大CSV转Parquet文件夹时遇UTF-8错误的解决咨询

针对你处理200GB CSV时遇到的无效UTF8报错，无需全量读取文件，直接通过Arrow的CSV读取选项即可解决，具体方案如下：

1. 调整CSV读取参数，处理无效UTF8字符 #

在open_dataset中通过csv_options()指定对无效UTF8的处理策略，Arrow支持三种实用模式：

• "replace"：将无效UTF8字符替换为Unicode替换字符（�），保留完整数据
• "skip"：直接跳过包含无效UTF8的整行，适合对数据完整性要求不高的场景
• "ignore"：忽略无效字节（可能导致乱码，不推荐使用）

修改后的代码：

library(arrow)

# 定义CSV读取选项，处理无效UTF8
csv_opts <- csv_options(
  invalid_utf8 = "replace",  # 可根据需求替换为"skip"
  skip_empty_rows = TRUE     # 可选：跳过空行避免额外解析错误
)

# 重新打开数据集，确保分组列包含在schema中
arrow_data <- open_dataset(
  sources = "large.csv", 
  format = "csv", 
  schema = schema(
    col1 = string(),
    col2 = string(),
    col3 = string(),
    col4 = string(),
    group_var = string()
  ),
  csv_options = csv_opts
)

2. （可选）指定文件实际编码 #

如果你的CSV并非UTF8编码（比如GBK、Latin1），强行按UTF8解析会触发无效字符错误，此时可在csv_options中指定对应编码：

csv_opts <- csv_options(
  encoding = "GBK",  # 替换为文件实际的编码格式
  invalid_utf8 = "replace"
)

3. 验证并执行分组写入 #

先通过少量数据预览确认无效字符已被处理：

arrow_data %>% head(10) %>% collect()

确认无误后，再执行分组写入Parquet的操作：

arrow_data %>% 
  group_by(group_var) %>% 
  write_dataset(path = pq_path, format = "parquet")

进阶：定位具体错误行（可选） #

如果需要精准定位错误行，可使用read_csv_chunked逐块扫描（无需全量加载）：

# 定义块处理函数，检查无效UTF8行
check_chunk <- function(chunk, idx) {
  invalid_rows <- which(!utf8_valid(chunk$col3))
  if(length(invalid_rows) > 0) {
    cat("Chunk", idx, "发现无效行：", invalid_rows + (idx-1)*10000, "\n")
  }
  return(NULL)
}

# 按每10000行一块扫描文件
read_csv_chunked("large.csv", DataFrameCallback$new(check_chunk), chunk_size = 10000)

内容的提问来源于stack exchange，提问作者Terryb