如何在Dask的read_parquet函数中筛选不同分区?
问题原因
Dask dd.read_parquet的filters参数遵循**析取范式(DNF)**规则:
- 最外层列表的各个元素之间是
OR逻辑 - 每个内层子列表中的各个条件之间是
AND逻辑
你之前把多个等值条件写在同一个列表里,相当于要求AIRCRAFT同时等于Aircraft-4和Aircraft-5,逻辑冲突自然返回空结果。
正确写法
1. 筛选多个飞机的示例
要同时匹配多个飞机,将不同的匹配条件拆分为独立的内层子列表:
filters = [ # 子列表内所有条件为AND关系 [('PROGRESSIVE', '>=', 0), ('PROGRESSIVE', '<=', 999), ('year', '>', 1999), ('year', '<', 2021), ('AIRCRAFT', '=', 'Aircraft-4')], # 子列表之间为OR关系 [('PROGRESSIVE', '>=', 0), ('PROGRESSIVE', '<=', 999), ('year', '>', 1999), ('year', '<', 2021), ('AIRCRAFT', '=', 'Aircraft-5')] ] ddf = dd.read_parquet(path, engine="pyarrow", index=False, filters=filters)
2. 筛选多个非连续PROGRESSIVE值的示例
比如要匹配753、800、883三个序号,写法同理:
filters = [ [('PROGRESSIVE', '=', 753), ('year', '>', 1999), ('year', '<', 2021), ('AIRCRAFT', '=', 'Aircraft-5')], [('PROGRESSIVE', '=', 800), ('year', '>', 1999), ('year', '<', 2021), ('AIRCRAFT', '=', 'Aircraft-5')], [('PROGRESSIVE', '=', 883), ('year', '>', 1999), ('year', '<', 2021), ('AIRCRAFT', '=', 'Aircraft-5')] ]
3. 简化写法(避免重复写公共条件)
如果公共条件较多,可以用列表推导式自动生成过滤规则:
# 定义所有条件都需要满足的公共过滤项 common_filters = [('PROGRESSIVE', '>=', 0), ('PROGRESSIVE', '<=', 999), ('year', '>', 1999), ('year', '<', 2021)] # 定义要匹配的离散值列表 target_aircrafts = ['Aircraft-4', 'Aircraft-5', 'Aircraft-7'] # 生成符合格式要求的filters filters = [common_filters + [('AIRCRAFT', '=', ac)] for ac in target_aircrafts]
内容的提问来源于stack exchange,提问作者Andrea Leggio
相关产品推荐
相关产品推荐

