如何使用Pandas加载Parquet文件并指定数据类型？

pandas的pd.read_parquet()确实没有dtype参数——因为Parquet是自带类型元数据的二进制列式存储格式，读取时会默认沿用文件中记录的列类型，这和纯文本的CSV格式（无内置类型信息）的设计逻辑不同。如果需要强制指定列类型，可以用以下两种方法：

方法一：读取后用astype转换（最常用） #

先正常读取Parquet文件，再通过astype()方法批量转换指定列的类型，完全匹配你原本用dtype参数的需求：

import pandas as pd
import numpy as np

# 读取parquet文件
dataset_df = pd.read_parquet(path)

# 定义目标类型字典
dtypes = {
    'elapsed_time': np.int32,
    'event_name': 'category',
    'name': 'category',
    'level': np.uint8,
    'room_coor_x': np.float64,
    'level_group': 'category'
}

# 转换指定列类型
dataset_df = dataset_df.astype(dtypes)

方法二：用Dask读取（适合大文件） #

如果处理的是超大文件，担心先读再转占用过多内存，可以用dask.dataframe的read_parquet()，它支持dtype参数，读取后再转为pandas DataFrame：

import dask.dataframe as dd
import numpy as np

dtypes = {
    'elapsed_time': np.int32,
    'event_name': 'category',
    'name': 'category',
    'level': np.uint8,
    'room_coor_x': np.float64,
    'level_group': 'category'
}

# 用Dask读取并转换类型，最后转为pandas DataFrame
dataset_df = dd.read_parquet(path, dtype=dtypes).compute()

注意：使用Dask需要先安装依赖包：pip install dask[complete]

内容的提问来源于stack exchange，提问作者Alekk