Dask read_parquet过滤无效仍加载无关Schema文件异常求助

核心原因 #

当你在同一根路径下按分区保存不同Schema的Parquet文件时，read_parquet默认会扫描目录下所有文件来推断/合并Schema——哪怕你指定了分区过滤条件，如果谓词下推没生效或者读取器先扫描了其他分区的文件，就会用第一个扫描到的文件的Schema（比如[A,B]），导致你要读取的C列被判定为不存在。

解决方案 #

1. 直接读取目标分区的子目录 #

这是最直接的办法：既然你要读取A=2的分区，直接定位到对应的子目录（比如path/A=2/）读取，完全避开其他分区的文件：

# Pandas示例
import pandas as pd
df = pd.read_parquet("path/A=2/", columns=["A", "C"])

# Spark示例
df = spark.read.parquet("path/A=2").select("A", "C")

2. 关闭Schema合并并确保谓词下推（Spark专属） #

Spark默认会合并所有分区文件的Schema，关闭这个配置后，配合生效的谓词下推，只会扫描过滤后的分区文件，使用该分区的Schema：

# 关闭Schema合并
spark.conf.set("spark.sql.parquet.mergeSchema", "false")
# 读取并过滤分区，此时只会加载A=2的文件
df = spark.read.parquet("path").filter("A = 2").select("A", "C")

注意：确保你的分区目录是Hive格式（A=xxx），Spark能自动识别分区列，这样过滤条件才能下推到目录扫描阶段。

3. 用PyArrow Dataset API精确控制（Pandas/通用） #

PyArrow的Dataset API可以直接基于分区过滤定位目标文件，不会扫描无关分区，完美适配跨Schema的场景：

import pyarrow.dataset as ds

# 加载分区数据集（Hive格式分区）
dataset = ds.dataset("path", format="parquet", partitioning="hive")
# 过滤A=2的分区，只加载指定列
filtered_table = dataset.to_table(filter=ds.field("A") == 2, columns=["A", "C"])
# 转成Pandas DataFrame
df = filtered_table.to_pandas()

4. 指定Schema+强制引擎下推（Pandas） #

如果坚持用Pandas的read_parquet，需要指定Schema并确保用PyArrow引擎，让过滤条件下推到分区层面：

import pandas as pd
import pyarrow as pa

# 定义目标Schema
target_schema = pa.schema([("A", pa.int64()), ("C", pa.string())])
# 读取时指定Schema、过滤条件和PyArrow引擎
df = pd.read_parquet(
    "path",
    columns=["A", "C"],
    schema=target_schema,
    filters=[("A", "==", 2)],
    engine="pyarrow"
)

内容的提问来源于stack exchange，提问作者nrayeshich