使用xr.load_dataset加载NetCDF4时，如何将float转为int以节省内存？

通过xr.load_dataset的preprocess参数，就能在加载过程中完成float64到int16的转换，同时提取整数部分，避免先加载大体积浮点数占用内存。

步骤1：定义预处理函数 #

这个函数会遍历数据集变量，对float64类型的数据做取整+类型转换操作：

import numpy as np
import xarray as xr

def cast_float64_to_int16(ds):
    for var_name in ds.data_vars:
        var = ds[var_name]
        # 只处理float64类型的变量
        if var.dtype == np.float64:
            # 提取整数部分：用np.trunc截断小数，如需四舍五入可替换为np.round
            int_data = np.trunc(var.data).astype(np.int16)
            # 替换原变量，保留维度和属性信息
            ds[var_name] = xr.DataArray(int_data, dims=var.dims, attrs=var.attrs)
    return ds

步骤2：加载数据集时传入预处理函数 #

调用xr.load_dataset时，把上面的函数传给preprocess参数即可：

ds = xr.load_dataset('mydataset.nc', preprocess=cast_float64_to_int16)

关键注意事项 #

• 数据范围检查：int16的取值范围是-32768到32767，必须确保你的数据整数部分落在这个区间内，否则会出现数据溢出，导致结果错误。如果数据超出范围，建议改用int32类型。
• 灵活调整逻辑：预处理函数可按需修改，比如只针对特定名称的变量转换，或者更换取整方式（如np.floor向下取整）。
• 内存优化效果：这种方式在加载阶段直接生成int16数据，不会先把10GB+的float64数据载入内存，完全符合你控制内存和云计算成本的需求。

内容的提问来源于stack exchange，提问作者anakaine