PyArrow Dataset：对非分区date列过滤时是否触发谓词下推？

PyArrow无法自动识别date列过滤条件和分区列year/month的派生关系，直接对date列应用过滤不会触发基于分区的谓词下推，只有当过滤条件显式引用分区列时，才会跳过不必要的分区。

核心原因 #

PyArrow的分区谓词下推逻辑仅基于分区列的元数据进行判断，它不会主动解析date列和分区列之间的派生规则（比如year是date的年份提取值），所以无法将date的过滤条件自动转换为对year/month的分区筛选。

你的示例代码问题 #

你给出的代码中，使用ds.field("date") >= "2023-01-01"作为过滤条件时，PyArrow会扫描所有分区下的Parquet文件，读取数据后再在内存中过滤date列，不会跳过任何分区目录。

正确实现分区谓词下推的方式 #

有两种可行的做法：

• 直接针对分区列写过滤条件：
  把date的范围条件转换为对year和month的组合过滤，比如针对date >= "2023-01-01"，可以写成：

  import pyarrow.dataset as ds
  
  dataset = ds.dataset("parquet_dataset_partitioned", format="parquet", partitioning="hive")
  # 显式过滤分区列，触发谓词下推
  filter_expr = (ds.field("year") == 2023) & (ds.field("month") >= 1)
  dataset.to_table(filter=filter_expr).to_pandas()
  

  这样PyArrow会直接跳过year<2023的所有分区，以及year=2023下month<1的分区，只读取符合条件的目录文件。

• 手动转换date过滤为分区列条件：
  如果需要基于动态的date范围，可以先解析出对应的year和month范围，再生成过滤表达式，比如处理跨年份的日期范围date >= "2022-11-01"：

  filter_expr = (ds.field("year") > 2022) | ((ds.field("year") == 2022) & (ds.field("month") >= 11))
  dataset.to_table(filter=filter_expr).to_pandas()
  

补充说明 #

即使你的分区列是从date列派生生成的，PyArrow也不会保存这种派生关系的元数据，因此无法自动完成过滤条件的转换，必须手动关联分区列和过滤逻辑。

内容的提问来源于stack exchange，提问作者Scarface