使用Xarray处理NetCDF后写入文件速度极慢，求优化方法

我用Xarray读取约1000个NetCDF文件，筛选指定变量和空间范围后保存到临时文件，但保存环节速度极慢。

已尝试的两种方案：

1. 循环逐个读取文件，筛选后拼接再保存：

for fname in ids['fnames']:
    aq = xr.open_dataset(fname, chunks='auto', mask_and_scale=False)
    aq = aq[var_lists]

    aq = aq.isel(lat=slice(yoff, yoff+ysize), lon=slice(xoff, xoff+xsize))
    list_of_ds.append(aq)
    aq.close()

all_ds = xr.concat(list_of_ds, dim='time')
all_ds.to_netcdf('tmp.nc')

2. 使用open_mfdataset加parallel=True：

aq = xr.open_mfdataset(
    sorted(ids_list),
    data_vars=var_lists,
    preprocess=add_time_dim,
    combine='by_coords',
    mask_and_scale=False,
    decode_cf=False,
    parallel=True,
)

aq.isel({'lon':irlon,'lat':irlat}).to_netcdf('tmp.nc')

1. 手动优化分块策略，避免碎片化读写 #

别用chunks='auto'，根据你的空间范围和时间维度手动设置分块大小，比如设置chunks={'time': 10, 'lat': ysize, 'lon': xsize}，让每个分块刚好对应单个时间切片的完整空间范围，减少保存时的分块合并开销。用open_mfdataset时直接在参数里指定这个分块规则，确保和后续筛选后的维度匹配。

2. 把空间筛选提前到预处理阶段 #

用open_mfdataset时，把空间裁剪逻辑塞进preprocess函数里，别等所有数据读完再isel。这样每个文件只读取需要的空间区域，减少内存占用和后续数据传输量：

def add_time_dim_and_cut_space(ds):
    ds = add_time_dim(ds)  # 保留你原来的时间维度处理逻辑
    return ds.isel(lat=slice(yoff, yoff+ysize), lon=slice(xoff, xoff+xsize))

aq = xr.open_mfdataset(
    sorted(ids_list),
    data_vars=var_lists,
    preprocess=add_time_dim_and_cut_space,
    combine='by_coords',
    mask_and_scale=False,
    decode_cf=False,
    parallel=True,
    chunks={'time': 50}  # 根据机器性能调整时间分块大小
)

3. 优化NetCDF保存参数 #

• 指定保存格式：用format='NETCDF4'或NETCDF4_CLASSIC，别用默认的NETCDF3（性能拉胯）。
• 开启压缩：给每个变量设置压缩参数，既减小文件体积，又能提升读写速度：

encoding = {var: {'zlib': True, 'complevel': 5} for var in var_lists}
aq.to_netcdf('tmp.nc', format='NETCDF4', encoding=encoding)

• 如果内存足够，先把数据加载到内存再保存：调用aq.load()后再执行to_netcdf，避免Dask分块读写的额外开销。

4. 给Dask多分配资源 #

确保Dask用足你的CPU资源，设置调度器和工作进程数：

import dask
dask.config.set(scheduler='processes', num_workers=8)  # 数字根据你的CPU核心数调整，比如8核就设8

另外要确认dask和dask-distributed已经正确安装，否则parallel=True等于摆设。

5. 砍掉不必要的预处理操作 #

检查decode_cf=False是否真的需要，如果你的文件没有复杂的CF元数据，关掉它能减少预处理的开销；但如果文件依赖CF解码才能正确读取，就保留。

内容的提问来源于stack exchange，提问作者Lianghai Wu