如何预测Parquet文件加载至内存后的大小？

你当前的方法确实可行，但其实可以完全通过Parquet元数据直接计算内存占用，不用读取任何数据块，效率更高。

纯元数据计算的实现思路 #

Parquet文件的元数据里包含了每一列的精确类型信息，而你只用int和float这类固定长度的数值类型，每个类型的字节数是固定的：

• int8 → 1字节/行
• int16 → 2字节/行
• int32 → 4字节/行
• int64 → 8字节/行
• float32 → 4字节/行
• float64 → 8字节/行

直接用列类型字节数 × 总行数累加就能得到总内存占用，全程不需要读取数据：

import pyarrow as pa
import pyarrow.parquet as pq

pf = pq.ParquetFile("your_large_file.parquet")
total_bytes = 0
num_rows = pf.metadata.num_rows
schema = pf.schema

# 遍历每个列类型计算内存
for field in schema:
    dtype = field.type
    if isinstance(dtype, pa.Int8Type):
        total_bytes += num_rows * 1
    elif isinstance(dtype, pa.Int16Type):
        total_bytes += num_rows * 2
    elif isinstance(dtype, pa.Int32Type):
        total_bytes += num_rows * 4
    elif isinstance(dtype, pa.Int64Type):
        total_bytes += num_rows * 8
    elif isinstance(dtype, pa.Float32Type):
        total_bytes += num_rows * 4
    elif isinstance(dtype, pa.Float64Type):
        total_bytes += num_rows * 8

# 转换为更易读的单位（比如MB）
total_mb = total_bytes / (1024 ** 2)
print(f"预估总内存：{total_mb:.2f} MB")

对比你当前方案的优势 #

你现在用的读第一行再乘总行数的方法，需要读取一个数据批次并转换为Pandas DataFrame，这涉及IO开销和数据转换的临时内存占用。纯元数据计算完全跳过这些步骤，速度更快，也不会额外占用内存，对超大型Parquet文件来说优势更明显。

注意事项 #

因为你明确数据只有int和float这类固定长度类型，所以这个方法的预估结果是完全准确的。如果后续涉及字符串这类可变长度类型，就需要读取样本数据估算，但当前场景下完全适用。

内容的提问来源于stack exchange，提问作者TheLegs