修改列数据类型为何无法减小Parquet文件存储体积？

• 你代码里用的Float32/Int64/Int16是Pandas自定义的可空扩展类型，不是NumPy原生的基础数值类型。不同版本的Parquet写入引擎（PyArrow、FastParquet）对这类扩展类型的序列化兼容度不一致，不少场景下不会真的按照声明的位宽写入物理存储，比如部分旧版本PyArrow会把可空Float32仍然按64位浮点数类型落盘，自然不会带来体积缩减。
• Parquet的最终文件体积和声明的逻辑类型位宽没有直接线性关系：写入时Parquet会自动对列做专属编码（字典编码、RLE游程编码、位打包等）+ 通用压缩（Pandas默认导出用Snappy压缩）。如果原始float64列的数值分布本身经过编码压缩后冗余度已经很低，换成更低位宽类型带来的空间节省，很容易被新增的类型元数据、编码开销抵消，最终文件体积看起来完全没有变化。
• 填充-999转Int16后体积上涨的直接原因：原始数据里的NaN值在Parquet存储中是通过独立的null位图标记的，标记一个空值仅需要1bit存储空间，不需要在数据区存储对应位置的实际数值；把所有NaN替换为-999后，原本不需要存值的空位置全部变成了需要写入数据区的Int16整数值，如果列中空值占比不低，这部分新增的存储开销会直接超过Int16相对float64/Int64节省的空间，最终文件体积反而增大。

• 优先使用NumPy原生低精度类型做转换：注意NumPy原生整数类型不支持带空值，浮数列在确认精度损失可接受的前提下，直接转numpy.float32而非Pandas的可空Float32，导出时显式指定压缩参数：

df[list_column] = df[list_column].astype('float32')
df[list_column].to_parquet(
    "float32_native.parquet",
    engine="pyarrow",
    compression="zstd", # 同等压缩速度下比默认snappy压缩率高30%左右
    use_dictionary=True
)

• 不要用固定占位值填充空值换小位宽整数：Parquet原生支持带空值的整数存储，不需要额外填充占位值，填充反而会丢失空值语义、额外增加存储开销。
• 导出后校验实际存储类型：可以通过PyArrow读取Parquet文件元数据，确认每列实际写入的物理类型，不要仅以代码里astype声明的类型为准；同时把Pandas、PyArrow版本升级到最新，旧版本对可空类型的序列化bug较多，经常出现声明低精度类型实际按高精度落盘的问题。
• 如果列的基数很低（不同值的数量少于1万），开启动字典编码的压缩收益远高于单纯缩减类型位宽。

内容的提问来源于stack exchange，提问作者Rob404