使用Dask read_parquet读取过滤后的分区Parquet数据集返回空DataFrame

以下是导致Dask读取Parquet分区数据返回空值的常见原因及对应解决办法：

1. 过滤条件格式不匹配 #

PyArrow和Dask的过滤语法存在差异：

• PyArrow支持单等号=的元组条件，比如("travel", "=", "train")
• Dask的filters参数要求使用**嵌套列表+双等号==**的格式，示例：

  filters = [[("travel", "==", "train"), ("direction", "==", "east")]]
  

  外层列表表示逻辑与（AND），若需逻辑或（OR），可拆分为多个子列表。

2. 分区列类型与过滤值不匹配 #

Dask不会自动做类型兼容，必须保证过滤值类型和分区列实际类型完全一致：

• 若dayofweek是整数类型（如1代表周一），过滤时必须用整数2而非字符串"2"
• 类型不匹配会直接导致无数据匹配

3. 分区识别方式错误 #

如果数据集不是Hive风格分区（目录名非travel=train/direction=east这种key=value格式），需手动指定分区解析方式：

df = dd.read_parquet(
    "/path/to/dataset",
    filters=filters,
    partitioning="directory"  # 按目录层级识别分区
)

也可明确指定分区列及对应类型：

from pyarrow.dataset import Partitioning

partitioning = Partitioning(
    schema={"travel": str, "direction": str, "dayofweek": int}
)
df = dd.read_parquet("/path/to/dataset", filters=filters, partitioning=partitioning)

4. 大小写敏感问题 #

Dask对分区目录的大小写严格敏感，比如分区目录是travel=Train，过滤时用"train"会匹配失败。而PyArrow在部分系统（如Windows）下可能忽略大小写，导致两者结果不同。

5. 验证分区是否被正确识别 #

先不添加过滤条件，读取整个数据集后检查分区信息：

df = dd.read_parquet("/path/to/dataset")
# 查看分区列的取值范围
print(df["travel"].unique().compute())
print(df["direction"].unique().compute())

如果输出的分区取值和实际目录不符，说明Dask未正确识别分区，需调整partitioning参数。

内容的提问来源于stack exchange，提问作者Anshul