You need to enable JavaScript to run this app. 如何在Dask的read_parquet函数中筛选不同分区?
优惠活动
大模型
产品
解决方案
定价
更多

如何在Dask的read_parquet函数中筛选不同分区?

问题原因

Dask dd.read_parquet的filters参数遵循**析取范式(DNF)**规则:

  • 最外层列表的各个元素之间是OR逻辑
  • 每个内层子列表中的各个条件之间是AND逻辑

你之前把多个等值条件写在同一个列表里,相当于要求AIRCRAFT同时等于Aircraft-4和Aircraft-5,逻辑冲突自然返回空结果。

正确写法

1. 筛选多个飞机的示例

要同时匹配多个飞机,将不同的匹配条件拆分为独立的内层子列表:

filters = [
    # 子列表内所有条件为AND关系
    [('PROGRESSIVE', '>=', 0), ('PROGRESSIVE', '<=', 999), ('year', '>', 1999), ('year', '<', 2021), ('AIRCRAFT', '=', 'Aircraft-4')],
    # 子列表之间为OR关系
    [('PROGRESSIVE', '>=', 0), ('PROGRESSIVE', '<=', 999), ('year', '>', 1999), ('year', '<', 2021), ('AIRCRAFT', '=', 'Aircraft-5')]
]
ddf = dd.read_parquet(path, engine="pyarrow", index=False, filters=filters)

2. 筛选多个非连续PROGRESSIVE值的示例

比如要匹配753、800、883三个序号,写法同理:

filters = [
    [('PROGRESSIVE', '=', 753), ('year', '>', 1999), ('year', '<', 2021), ('AIRCRAFT', '=', 'Aircraft-5')],
    [('PROGRESSIVE', '=', 800), ('year', '>', 1999), ('year', '<', 2021), ('AIRCRAFT', '=', 'Aircraft-5')],
    [('PROGRESSIVE', '=', 883), ('year', '>', 1999), ('year', '<', 2021), ('AIRCRAFT', '=', 'Aircraft-5')]
]

3. 简化写法(避免重复写公共条件)

如果公共条件较多,可以用列表推导式自动生成过滤规则:

# 定义所有条件都需要满足的公共过滤项
common_filters = [('PROGRESSIVE', '>=', 0), ('PROGRESSIVE', '<=', 999), ('year', '>', 1999), ('year', '<', 2021)]
# 定义要匹配的离散值列表
target_aircrafts = ['Aircraft-4', 'Aircraft-5', 'Aircraft-7']
# 生成符合格式要求的filters
filters = [common_filters + [('AIRCRAFT', '=', ac)] for ac in target_aircrafts]

内容的提问来源于stack exchange,提问作者Andrea Leggio

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.15 19:27:05