使用xarray高效合并70个netCDF文件解决Jupyter运行卡顿问题

你当前使用的open_mfdataset默认会全量加载所有文件的元数据、自动做坐标校验与对齐，文件数量较多时很容易占用过高内存导致Jupyter无响应，可以根据你的场景选择以下优化方案：

• 优化xarray原生调用参数
  显式指定拼接规则、开启并行读取，减少不必要的校验开销，示例代码：

  import xarray as xr
  ds = xr.open_mfdataset(
      '*.nc',
      concat_dim='time', # 替换为实际要拼接的维度名，通常为时间
      parallel=True, # 开启多线程并行读取
      combine='by_coords',
      data_vars='minimal', # 仅拼接数据变量，跳过冗余变量处理
      coords='minimal',
      compat='override' # 跳过严格的坐标兼容校验，减少计算量
  )
  # 输出时可添加压缩配置，降低IO耗时、减小最终文件体积
  comp = dict(zlib=True, complevel=5)
  encoding = {var: comp for var in ds.data_vars}
  ds.to_netcdf('SST_2021-10_timeseries.nc', encoding=encoding)
  

  如果你的文件维度、变量结构差异很小，这个方案不需要额外安装工具，调整参数后即可大幅降低卡顿概率

• 使用NCO（NetCDF Operators）命令行工具合并
  这是专门为netCDF文件设计的轻量化处理工具，不需要把全量数据加载到内存，合并速度是Python方案的3-10倍，内存占用不到10%。
  安装NCO后直接执行命令即可，也可以在Jupyter中加!前缀直接运行：

  ncrcat *.nc SST_2021-10_timeseries.nc
  

  需要指定拼接维度时可添加参数：

  ncrcat -d time *.nc SST_2021-10_timeseries.nc
  

  如果70个文件的结构完全一致，优先推荐该方案，不会出现Jupyter卡顿问题

• 使用CDO（Climate Data Operators）命令行工具合并
  针对气象类netCDF文件优化的处理工具，会自动校验坐标合规性，适合对数据准确性要求高的场景，合并命令如下：

  cdo cat *.nc SST_2021-10_timeseries.nc
  

注意：如果不同文件的变量名、维度定义存在差异，需要先统一结构后再执行合并操作，否则所有方案都会报错。

内容的提问来源于stack exchange，提问作者ScienceNoob