使用xarray将int32转float32后NetCDF文件体积增大问题咨询

我正在处理NETCDF4_CLASSIC格式的nc文件转换，添加了将变量值从int32转换为float32的功能后，发现输出文件大小从禁用该功能时的4120 KB变成了启用时的5816 KB。相关代码如下：

# converting values from 'int32' to 'float32' dtype
for var_name in new_nc_file.data_vars:
    if 'add_offset' in new_nc_file.variables[var_name].attrs:
        print(var_name)
        var = new_nc_file[var_name]
        # Apply the scaling and offset to convert the values from int to float
        var.values = (var.values * var.scale_factor + var.add_offset).astype('float32')

comp = {'zlib':True, 'complevel':9}
encoding_comp = {var: comp for var in new_nc_file.variables} # all variables including coordinates

# export following the encoding rules, in NCDF4 classic format
new_nc_file.to_netcdf(output_path, encoding=encoding, format = 'NETCDF4_CLASSIC')

可能的原因： #

• 压缩效率差异：int32和float32虽同为4字节，但整数的二进制模式更具规律性，zlib压缩时能获得更高的压缩比；而浮点数的二进制分布更随机，即使启用最高等级压缩，压缩后的体积也会显著高于原整数数据。
• 原始数据的编码优势丧失：原始int32数据是通过scale_factor和add_offset编码的“打包整数”，这类数据的数值范围通常更集中，重复或可预测的模式更多，压缩效率远高于还原后的浮点值。转换为float32后，数据是实际物理值，数值分布更分散，压缩难度大幅提升。
• 变量压缩范围的影响：代码中对所有变量（包括坐标）启用zlib压缩，但坐标变量通常为整数且占比不大，文件大小变化主要由数据变量的浮点转换导致——数据变量占比越高，压缩率下降带来的体积变化越明显。
• 元数据的次要影响：转换后如果未移除add_offset和scale_factor这些属性，会额外占用少量存储空间，但这部分对文件大小的影响远小于数据本身的压缩效率变化。

内容的提问来源于stack exchange，提问作者Greg Madman