保存至NetCDF后Xarray.DataArray数据异常的原因排查

问题描述 #

先沿time维度拼接多个DataArray，再合并若干气象变量为Xarray Dataset，保存至NetCDF文件后出现异常：

• 保存前时间序列显示正常（截图：保存前正常时序）
• 加载生成的NetCDF文件后，时间序列出现异常（截图：保存后异常时序）

复现代码如下：

import xarray as xr

dirin = 'C:/mydata/' # 输入目录
dirout = dirin # 输出目录
vars = ['2m_dewpoint_temperature','2m_temperature'] # 两个气象变量
yrs = [2009,2010] # 两年数据

var_datasets = []

for var in vars:
    datasets = []
    for yr in yrs:
        input_file_name = dirin + 'test_' + var + '_' + str(yr) + '.nc' 
        f1 = xr.open_dataset(input_file_name)
        datasets.append(f1)
    ds_combined = xr.concat(datasets, dim = 'time') # 沿time维度拼接
    var_datasets.append(ds_combined) # 收集多变量数据集
    
data_before = xr.merge(var_datasets)

data_before.to_netcdf(dirout + 'test_vars.nc')
data_after = xr.open_dataset(dirout + 'test_vars.nc')

# 绘图对比：'t2m'和'd2m'变量的时序
data_before.t2m.plot()
data_after.t2m.plot()

可能的原因及解决方向 #

1. 时间维度元数据不统一 #

输入文件中不同年份的time维度可能存在编码参数不一致的情况，比如units（时间基准）、calendar（日历类型）定义不同。xr.concat拼接时表面合并了时序，但保存NetCDF时xarray无法正确统一编码，导致加载后时间轴解析错位。

验证方法：检查各输入文件的时间元数据

for var in vars:
    for yr in yrs:
        f = xr.open_dataset(dirin + f'test_{var}_{yr}.nc')
        print(f"变量{var} {yr}年：time_units={f.time.units}, calendar={f.time.calendar}")

解决方法：拼接前显式统一时间编码，比如转换为标准datetime64类型：

ds_combined = xr.concat(datasets, dim='time')
ds_combined['time'] = ds_combined.time.astype('datetime64[ns]')

2. 时间维度的类型/精度冲突 #

不同变量对应的time维度可能存在数值类型或精度差异（比如一个是float32，另一个是int64）。xr.merge合并时会自动对齐维度，但保存NetCDF时强制统一类型可能导致时间值被截断或转换错误，加载后时序异常。

验证方法：检查拼接后时间维度的类型

print("拼接后time维度类型：", ds_combined.time.dtype)

解决方法：合并前统一时间维度的数值类型：

ds_combined['time'] = ds_combined.time.astype('int64')

3. NetCDF文件格式兼容性问题 #

to_netcdf默认使用NETCDF4格式，若输入文件为NETCDF3_CLASSIC等旧格式，保存时可能丢失时间元数据。

解决方法：指定兼容的文件格式保存：

data_before.to_netcdf(dirout + 'test_vars.nc', format='NETCDF3_CLASSIC')

4. 时间序列存在重复或无序 #

拼接后的time维度可能存在重复值，或合并时未保持正确的时间顺序，导致保存加载后时序混乱。

验证方法：检查时间序列的重复性和顺序

print("是否存在重复时间点：", ds_combined.time.duplicated().any())
print("时间序列是否有序：", (ds_combined.time.diff(dim='time') > 0).all())

解决方法：去重并重新排序：

ds_combined = ds_combined.drop_duplicates(dim='time').sortby('time')

内容的提问来源于stack exchange，提问作者CrayonAki