使用PyArrow过滤Parquet数据集后，dataset.fragments出现其他分区值是否符合预期？

这种现象不是预期行为——正常情况下，PyArrow的数据集过滤应该只返回完全匹配所有过滤条件的分区片段。出现这种情况大概率是以下几个原因导致的：

可能的原因及排查方向 #

• 分区字段类型不匹配
  写入数据集时如果没有明确指定分区字段的类型，PyArrow可能会自动推断类型，而读取时的类型推断结果可能和写入时不一致。比如f0字段写入时是日期类型，但分区目录用的是字符串格式01.09.2022，读取时如果PyArrow把f0解析成了日期类型，而过滤条件用的是字符串值，就会导致过滤逻辑失效，误匹配到其他分区。

• 分区目录格式不规范
  确认你的分区目录是不是严格遵循key=value的命名格式，比如正确的结构应该是f0=01.09.2022/f2=code1。如果目录命名缺少key=前缀，或者用了其他分隔符，PyArrow无法正确识别分区键，自然没法准确过滤。

• 过滤条件格式问题
  部分PyArrow版本对元组格式的过滤条件支持有限，建议换成表达式语法构建过滤条件，比如：

  from pyarrow.dataset import field
  filter_expr = (field('f0') == '01.09.2022') & (field('f2') == 'code1')
  filtered_dataset = temp_dataset.filter(filter_expr)
  

• 元数据缓存未更新
  如果之前修改过数据集（比如新增/删除分区），PyArrow可能缓存了旧的元数据。可以尝试删除数据集目录下的.parquet元数据文件，然后重新加载数据集；或者在读取时指定use_legacy_dataset=False（针对较新版本PyArrow）强制刷新元数据。

验证步骤 #

1. 手动查看数据集的目录结构，确认f0=01.09.2022/f2=code2这个分区是否真的存在，以及里面的文件是否符合预期。
2. 读取时显式指定分区字段的类型，避免自动推断出错：

   from pyarrow.dataset import dataset, Schema, field
   from pyarrow import string
   
   # 显式定义分区字段的类型为字符串
   partition_schema = Schema([field('f0', string()), field('f2', string())])
   temp_dataset = dataset(
       '你的数据集路径',
       format='parquet',
       partitioning=partition_schema
   )
   

内容的提问来源于stack exchange，提问作者Bulat Ibragimov