在R中使用Arrow读取多格式数据集时的Schema统一问题

问题梳理 #

你用arrow::open_dataset()读取同时包含CSV和Parquet的目录时，碰到两个Schema冲突：一是Parquet多了age_group字段，二是horizon字段在CSV里是int64()、Parquet里是int32()，导致无法生成统一的FileSystemDataset。你尝试基于第一个CSV的Schema生成统一Schema，补充额外字段后给每个数据集做子集，但遇到两个新问题：直接替换Schema报类型不匹配；用对应Schema重新读取时，CSV显示0文件（但Schema明明一致）。

问题原因 #

1. 直接替换Schema报错 #

Arrow的数据集Schema是和底层存储的物理类型绑定的，不是随便修改的。比如Parquet里的horizon实际存的是int32，你硬改成int64，逻辑Schema和物理存储类型对不上，自然报类型不匹配。

2. CSV读取0文件 #

大概率是CSV读取器的参数没配对：

• 你定义的统一Schema包含age_group，但CSV里没有这个字段，默认情况下Arrow会认为文件不符合Schema，直接跳过；
• 也可能是读取时没明确指定format="csv"，Arrow自动识别时把CSV文件排除了；
• 或者字段顺序和Schema不一致，CSV读取器默认严格匹配顺序，导致识别失败。

实用解决方案 #

方案1：读取时直接指定统一Schema（推荐） #

直接在open_dataset()里定义统一Schema，同时给不同格式配置兼容参数，让Arrow自动处理类型转换和字段缺失：

# 定义统一Schema：以CSV的字段和类型为基准，补充Parquet的额外字段（设为可空）
unified_schema <- schema(
  # 按CSV的原有字段和类型定义，比如假设CSV还有id字段
  id = int64(),
  horizon = int64(),
  # 补充Parquet的age_group，允许为空
  age_group = string(nullable = TRUE)
  # 其他CSV里的字段按实际情况添加
)

# 读取混合格式数据集，配置对应格式的兼容参数
combined_ds <- open_dataset(
  "你的目录路径",
  schema = unified_schema,
  format = c("csv", "parquet"),
  # CSV配置：允许缺失字段，自动补NA；强制按Schema解析类型
  csv_options = csv_reader_options(
    missing_columns = "add",
    coerce_types = TRUE
  ),
  # Parquet配置：自动将int32的horizon转成int64
  parquet_options = parquet_reader_options(
    coerce_types = TRUE
  )
)

方案2：分别读取后合并 #

如果方案1有适配问题，可以分开读取CSV和Parquet，调整Schema后再合并：

# 读CSV数据集，保留原始Schema
csv_ds <- open_dataset("你的目录路径", format = "csv")

# 读Parquet数据集，调整类型+补全CSV的字段
parquet_ds <- open_dataset("你的目录路径", format = "parquet") %>%
  # 把horizon转成int64，和CSV对齐
  mutate(horizon = cast(horizon, int64())) %>%
  # 补充CSV里没有的字段为NA（如果需要的话，也可以反过来给CSV加字段）
  mutate(across(all_of(setdiff(names(csv_ds), names(.))), ~NA))

# 合并两个数据集，自动对齐Schema
combined_ds <- bind_rows(csv_ds, parquet_ds)

方案3：提前统一数据格式（长期最优） #

如果经常要处理这个目录的文件，建议一次性把所有文件转成Parquet格式，统一Schema，之后读取就不会有麻烦：

# 先按统一Schema读取所有数据，再写入到新的Parquet目录
open_dataset("你的目录路径", schema = unified_schema, ...) %>%
  write_dataset("统一格式的Parquet目录", format = "parquet")

# 后续直接读这个统一目录即可
ds <- open_dataset("统一格式的Parquet目录")

注意事项 #

• 混合格式读取时，一定要明确format参数，避免Arrow自动识别错误；
• CSV处理字段缺失必须开missing_columns="add"，否则会跳过不符合Schema的文件；
• 类型转换要用coerce_types=TRUE或者cast()函数，别直接改数据集Schema，避免物理和逻辑类型不匹配。

内容的提问来源于stack exchange，提问作者Anna Krystalli