将xarray.DataArray转换为NetCDF时进程被杀，求解决方案

在集群上处理降水数据的xarray.DataArray时，执行保存为NetCDF文件的操作收到「Killed」提示。操作步骤如下：

import intake
import xarray as xr 
import pandas as pd

# 获取数据目录
catalog_file = "/my/path/catalog.json"

cat = intake.open_esm_datastore(catalog_file)
pre_catalog = cat.search(variable_id="pr", frequency="30minutes")

# 加载数据
dataset_dict = pre_catalog.to_dataset_dict(cdf_kwargs={"chunks": {"time": 1}})

# 提取数据集
for name, data_set in dataset_dict.items():
    pass

pr_array = data_set["pr"]

执行以下保存代码时出现问题：

# 尝试保存为NetCDF
pr_array.to_netcdf("/my/path/pre_30min_test.nc")

「Killed」提示通常是内存不足导致的，针对xarray大数组保存NetCDF的场景，可尝试以下方法：

• 调整分块大小，降低内存开销
  当前设置的chunks={"time":1}分块过于细碎，会引发大量小文件读写且内存占用过高。建议根据数据规模调整分块粒度，比如按天划分（30分钟间隔对应48个时间步）：

  # 加载数据时调整分块
  dataset_dict = pre_catalog.to_dataset_dict(cdf_kwargs={"chunks": {"time": 48}})
  pr_array = data_set["pr"]
  pr_array.to_netcdf("/my/path/pre_30min_test.nc")
  

• 利用dask延迟计算分块写入
  通过dask的延迟计算机制，避免一次性将所有数据加载到内存：

  from dask.diagnostics import ProgressBar
  
  # 启用进度条查看写入进度
  with ProgressBar():
      pr_array.to_netcdf("/my/path/pre_30min_test.nc", compute=False).compute()
  

• 分时段分批保存后合并
  若数据量极大，可按时间维度拆分后分批保存，再合并为完整文件：

  # 按年份拆分并保存
  for year in range(2000, 2020):
      subset = pr_array.sel(time=str(year))
      subset.to_netcdf(f"/my/path/pre_30min_{year}.nc")
  
  # 合并所有分文件
  merged_ds = xr.open_mfdataset("/my/path/pre_30min_*.nc", combine="by_coords")
  merged_ds["pr"].to_netcdf("/my/path/pre_30min_merged.nc")
  

• 检查集群资源配额
  确认当前作业的内存配额是否匹配数据规模，可申请更大内存的节点或调整作业参数，避免因系统资源限制被终止进程。

内容的提问来源于stack exchange，提问作者jei L