保存pd.DataFrame时如何强制指定Parquet数据类型？含空列场景

这个问题我之前也踩过坑！Pandas默认的类型推断在处理全空列时确实会闹脾气，Parquet直接把这类列的schema设为null，导致Dask合并多个文件时因为schema不匹配报错。下面给你几个靠谱的解决办法：

1. 用PyArrow显式定义Schema（推荐） #

PyArrow支持在写入Parquet时强制指定每一列的类型，完全不受列是否全空的影响，这是最稳妥的方式：

import pandas as pd
import pyarrow as pa
import pyarrow.parquet as pq

# 示例DataFrame，其中empty_col全为空值
df = pd.DataFrame({
    'id': [1, 2, 3],
    'empty_col': [None, None, None]
})

# 自定义Schema，明确指定全空列的目标类型
custom_schema = pa.schema([
    ('id', pa.int64()),
    ('empty_col', pa.int64())  # 这里强制设为int64，哪怕全是空值
])

# 方式一：转成PyArrow Table再写入Parquet
table = pa.Table.from_pandas(df, schema=custom_schema)
pq.write_table(table, 'your_output.parquet')

# 方式二：直接用Pandas的to_parquet指定schema（需指定engine='pyarrow'）
df.to_parquet('your_output.parquet', engine='pyarrow', schema=custom_schema)

这样生成的Parquet文件里，empty_col的类型会被固定为int64，不会变成null，Dask合并多个文件时schema就能完美对齐了。

2. 用FastParquet指定Schema #

如果你习惯用FastParquet引擎，也可以通过schema参数强制指定列类型：

import pandas as pd
from fastparquet import write

df = pd.DataFrame({
    'id': [1, 2, 3],
    'empty_col': [None, None, None]
})

# 用字典定义列与类型的映射
custom_schema = {'id': 'int64', 'empty_col': 'int64'}

write('your_output_fast.parquet', df, schema=custom_schema, engine='fastparquet')

为什么之前的astype()不生效？ #

你用df.column_name = df.column_name.astype(sometype)转换后，Pandas表面上会显示列类型是你指定的，但底层存储的全空值（比如pd.NA或NaN）还是会触发Parquet的自动推断逻辑，把列判定为null类型。只有显式定义Parquet的Schema，才能彻底覆盖这种默认推断。

补救方案：Dask读取时统一类型 #

如果已经生成了一批schema不一致的Parquet文件，也可以在Dask读取时强制指定列类型，跳过原始Schema的检查：

import dask.dataframe as dd

# 强制把empty_col解析为int64，无视文件里的原始类型
ddf = dd.read_parquet('path/to/your/files/', dtype={'empty_col': 'int64'})

这样Dask会统一用指定的类型加载该列，也能顺利完成多文件合并。

内容的提问来源于stack exchange，提问作者hugom