使用pyarrow.parquet的ParquetDataset时的模式问题：如何强制指定特定模式

嘿，我之前也碰到过一模一样的情况！当部分Parquet文件里某一列全是NA时，pyarrow的自动模式推断很容易“跑偏”——它会把这列的类型识别成null，和其他文件里的对应列类型不匹配，直接导致读取失败。不过别慌，咱们直接手动指定目标Schema就能完美解决这个问题，下面是具体操作步骤：

步骤1：定义目标Schema #

首先你需要明确数据集的正确结构（列名、对应数据类型），用pyarrow的pa.schema()来定义。比如假设你的数据集有user_id（整数）、username（字符串）、total_score（浮点数）三列，代码如下：

import pyarrow as pa
import pyarrow.parquet as pq

# 根据你的实际数据结构调整列名和类型
target_schema = pa.schema([
    ("user_id", pa.int64()),
    ("username", pa.string()),
    ("total_score", pa.float64())
])

步骤2：读取数据集时强制使用指定Schema #

在调用ParquetDataset读取文件时，把刚才定义的target_schema传入schema参数，这样pyarrow就会忽略自动推断的结果，强制用你指定的Schema解析所有文件：

# 读取所有目标Parquet文件
dataset = pq.ParquetDataset(
    ["file1.pq", "file2.pq", "file3.pq"],
    schema=target_schema,
    use_legacy_dataset=False  # 推荐使用新的数据集实现，兼容性和稳定性更好
)

# 合并成一个Arrow Table，也可以转成Pandas DataFrame
merged_table = dataset.read()
merged_df = merged_table.to_pandas()

偷懒小技巧：从正确文件提取Schema #

如果你不想手动写Schema，可以先从结构完全正确的文件里提取它的Schema，再用来读取所有文件。比如假设file1.pq是没有问题的文件：

# 从正确的文件中读取Schema
correct_schema = pq.read_schema("file1.pq")

# 用这个Schema读取所有文件
dataset = pq.ParquetDataset(
    ["file1.pq", "file2.pq", "file3.pq"],
    schema=correct_schema
)

原理说明 #

当某文件的列全是NA时，pyarrow的自动推断会把该列的类型标记为null，和其他文件中该列的实际类型（比如int64）冲突，从而触发模式匹配错误。而强制指定Schema后，pyarrow会将所有文件的对应列统一按指定类型解析，全NA的列也会被转换成对应类型的null值，完美规避类型不匹配的问题。

内容的提问来源于stack exchange，提问作者LouvetG