Python中使用xarray写入大型netCDF文件时进程被杀死如何解决

问题原因 #

你当前的代码写法错误导致内存溢出：调用data.compute()会将整个8GB数据集全量加载到内存，叠加Dask调度的额外开销，直接触发系统OOM（内存不足）杀死进程。

解决方法 #

1. 修正写入代码逻辑

不要单独对数据集本身执行compute，to_netcdf(compute=False)返回的延迟对象本身就包含边计算边写入的逻辑，直接对这个对象执行compute即可，不会全量加载数据到内存：

out_folder = data_dir / "interim/modis_ndvi_1000_preprocessed"
out_folder.mkdir(exist_ok=True)
out_file = out_folder / f"modis_ndvi_1000_{subset_str}.nc"

# 拿到写入的延迟任务，不要直接计算数据集
write_task = data.to_netcdf(out_file, compute=False)
with ProgressBar():
    print(f"Writing to {out_file}")
    # 计算写入任务，Dask会自动按分块逐块写入磁盘
    write_task.compute()

2. 调整数据分块（内存较小的机器推荐）

你当前的分块规则是每个时间步一个分块，单块大小约4.7MB，块数过多会导致Dask调度开销升高。可以主动重分块，合并时间维度的分块，减少总块数：

# 每个分块包含10个时间步，空间维度保持完整
data_rechunked = data.chunk(time=10, lat=-1, lon=-1)
write_task = data_rechunked.to_netcdf(out_file, compute=False)
with ProgressBar():
    write_task.compute()

3. 手动限制Dask并行资源（内存不足场景适配）

如果上述操作还是出现内存溢出，可以手动启动Dask本地集群，限制worker数量和单worker内存上限，避免并行度过高撑爆内存：

from dask.distributed import Client, LocalCluster

# 启动本地集群，示例：4个worker，每个worker最多占用2.5GB内存，总内存占用不超过10GB
cluster = LocalCluster(n_workers=4, memory_limit="2.5GB")
client = Client(cluster)

# 后续写入逻辑不变
write_task = data.to_netcdf(out_file, compute=False)
with ProgressBar():
    write_task.compute()

# 任务完成后关闭集群
client.close()
cluster.close()

额外优化：开启输出压缩

写入时开启zlib压缩，可以大幅减小输出文件体积，且对读写性能影响极小：

# 配置变量压缩参数
encoding = {"modis_ndvi": {"zlib": True, "complevel": 1}}
write_task = data.to_netcdf(out_file, compute=False, encoding=encoding)
with ProgressBar():
    write_task.compute()

内容的提问来源于stack exchange，提问作者Tommy Lees