Xarray保存NetCDF数据集后数值异常截断问题求助

问题概述 #

从哥白尼气候数据商店按变量、年月分片下载气候数据后，执行以下操作：

• 用xr.concat([ds1,ds2],'time')合并单变量时间序列
• 用xr.merge([DS1,DS2])整合多变量得到完整数据集ds
• 保存前验证数据正常，但通过ds.to_netcdf('Data.nc')保存后，xr.open_dataset('Data.nc')重新打开时所有变量数值出现异常截断
• 运行环境：macOS + Jupyter Notebook，已提供ncdump -hs Data.nc输出及ds.swh.encoding保存前后对比信息

可能原因 #

1. 合并操作丢失原始编码信息：xr.concat或xr.merge过程中，原始数据的编码参数（如scale_factor、add_offset、dtype）可能被重置或丢失。保存时xarray使用默认编码存储，重新读取时无法正确还原原始数值，导致截断。
2. 数据类型自动降级：若分片数据的 dtype 存在差异，xarray合并时会自动选择兼容的低精度类型，保存后数值超出该类型范围出现截断。
3. NetCDF格式限制：默认使用的NETCDF3_CLASSIC格式不支持部分高精度类型或压缩编码，保存时自动降级数据类型导致截断。

解决步骤 #

1. 保留并恢复原始编码 #

合并前先记录每个变量的原始编码，合并后重新应用：

# 以第一个单变量分片为例，记录所有变量的原始编码
encoding_dict = {}
for var_name in DS1.data_vars:
    encoding_dict[var_name] = DS1[var_name].encoding.copy()

# 执行合并操作
ds = xr.merge([DS1, DS2])

# 为合并后的数据集恢复原始编码
for var_name, encoding in encoding_dict.items():
    if var_name in ds.data_vars:
        ds[var_name].encoding.update(encoding)

2. 显式指定保存编码 #

保存时通过encoding参数强制使用原始编码，避免xarray自动生成默认编码：

# 提取合并后数据集的所有变量编码
save_encoding = {var: ds[var].encoding for var in ds.data_vars}

# 指定编码保存，同时选用NETCDF4格式避免格式限制
ds.to_netcdf('Data.nc', format='NETCDF4', encoding=save_encoding)

3. 验证编码与数据类型 #

保存前务必确认变量的编码和 dtype 与原始分片一致：

# 查看单个变量的编码信息
print(ds.swh.encoding)

# 查看所有变量的数据类型
print(ds.dtypes)

4. 结合ncdump输出排查 #

对比保存前后的scale_factor、add_offset和dtype：

• 若ncdump -hs显示保存后的变量无scale_factor/add_offset，说明编码丢失，需重新应用原始编码后保存。
• 若保存后的 dtype 比原始数据精度更低（如原始为float32，保存后为int16），需在保存时显式指定dtype参数：

  save_encoding['swh']['dtype'] = 'float32'  # 替换为原始数据类型
  ds.to_netcdf('Data.nc', encoding=save_encoding)
  

内容的提问来源于stack exchange，提问作者Gabriel