R中arrow::open_dataset处理含非法UTF8字符列的问题求助

问题概述 #

处理西雅图图书馆借阅数据集时遇到以下问题：

• 不设置col_types参数，problem_col会被识别为byte列，导入后转为raw类型列表，用rawToChar()无法正确拆分单元格内容，结果不符合预期。
• 指定problem_col为string类型时，因存在非法UTF-8字符直接报错。
• data.table::fread()可正常导入，但面对170个20-90GB的大型CSV文件，无法依赖该工具，后续需完成字符串过滤、聚合、数据集合并等操作。

解决方案 #

方案1：通过Arrow读取时处理非法UTF-8字符 #

利用Arrow的csv_read_options设置非法字符处理规则，避免读取报错：

library(arrow, duckdb, dplyr)

seattle_csv <- open_dataset(
  sources = "data/seattle-library-checkouts.csv",
  col_types = schema(problem_col = string()),
  format = "csv",
  read_options = csv_read_options(
    encoding = "UTF-8",
    invalid_utf8 = "replace"  # 将非法字符替换为�，也可设为"skip"跳过该行
  )
)

# 转换到DuckDB执行后续操作
seattle_df <- seattle_csv |>
  to_duckdb() |>
  collect()

方案2：直接用DuckDB读取CSV并处理非法字符 #

DuckDB原生支持CSV读取时配置非法UTF-8处理，适合直接在数据库层面操作：

con <- duckdb()

# 读取CSV到DuckDB临时表，自动处理非法字符
duckdb_read_csv(
  con = con,
  name = "seattle_checkouts",
  files = "data/seattle-library-checkouts.csv",
  col_types = c(problem_col = "VARCHAR"),
  options = list(
    "csv.invalid_utf8" = "replace",
    "csv.allow_quoted_newlines" = "true"  # 若CSV含换行符引号需开启
  )
)

# 执行查询并返回结果
result <- con |>
  tbl("seattle_checkouts") |>
  filter(problem_col %like% "%target%") |>
  group_by(category) |>
  summarise(total = n()) |>
  collect()

duckdb_disconnect(con)

大文件处理建议 #

1. 优先使用Lazy操作：所有过滤、聚合、筛选逻辑先在Arrow或DuckDB的lazy执行层完成，避免提前collect()加载全量数据到R内存。
2. 转换为列式存储格式：将CSV批量转换为Parquet或Feather格式，这类格式支持分区、压缩，读取速度远快于CSV，且适合Arrow和DuckDB高效处理：

# 按年份分区写入Parquet
seattle_csv |>
  mutate(checkout_year = substr(checkout_date, 1, 4)) |>
  write_dataset(
    path = "data/seattle_parquet",
    format = "parquet",
    partitioning = "checkout_year",
    compression = "snappy"
  )

# 读取分区数据集
seattle_parquet <- open_dataset("data/seattle_parquet", format = "parquet")

3. 启用并行处理：设置Arrow使用多线程提升读取速度：

arrow::set_cpu_count(8)  # 根据CPU核心数调整，比如8核设为8

4. 分批次处理单大文件：对单个90GB的CSV，可通过Arrow分块读取处理：

reader <- open_dataset(
  sources = "data/large_file.csv",
  format = "csv",
  read_options = csv_read_options(block_size = 1024 * 1024 * 100)  # 100MB分块
)

# 分块处理并写入结果
reader |>
  filter(...) |>
  write_dataset("data/filtered_result", format = "parquet")

附加问题解答：代码运行无输出但未停止 #

可能原因包括：

• Lazy操作在执行查询计划：Arrow或DuckDB在处理大文件时，会先优化查询逻辑、加载分块数据，此时无中间输出，需等待处理完成。
• 内存不足导致进程阻塞：大文件处理时内存占用过高，系统在等待内存释放，可通过系统资源监视器查看CPU/内存占用情况。
• 无返回值或输出被抑制：若最后一步是写入文件或执行无返回值的操作，控制台不会输出内容；可手动添加print()或glimpse()查看中间结果。
• 日志级别过高：默认情况下Arrow/DuckDB不输出进度日志，可开启调试日志查看进度：

arrow::set_log_level("debug")

内容的提问来源于stack exchange，提问作者Marti