xarray加载netCDF气候数据性能异常问题及优化方案咨询

你观察到的首次运行慢、二次运行极快的现象确实是操作系统文件缓存导致的：首次读取单文件1.5GB数据时需要从磁盘慢速IO，系统会自动将读取过的文件内容缓存到空闲内存中，只要缓存未被其他进程挤占，后续所有对该文件的读取都会直接从内存中拉取，耗时自然降到毫秒级。由于缓存是操作系统层面维护的，和Python进程、运行环境无关，所以重启内核、切换运行环境都不会影响这个现象。

1. 提前固定格点索引，避免重复坐标匹配 #

你需要提取的经纬度是固定的，无需在每个文件的循环中都执行sel的坐标匹配逻辑，提前算一次目标格点的索引即可：

# 任选一个有效nc文件提前获取坐标索引
sample_fp = next(datadirpath.glob(f"{prefix}_sd_*.nc"))
with xr.open_dataset(sample_fp) as src:
    lat_idx = src.latitude.get_index("latitude").get_indexer([lat], method="nearest")[0]
    lon_idx = src.longitude.get_index("longitude").get_indexer([lon], method="nearest")[0]

后续循环中直接用isel按索引取数，比sel减少不必要的坐标匹配开销。

2. 按读取需求指定chunk，大幅降低IO量 #

原文件默认的chunk策略一般是按空间维度分块，要提取单个格点的全月时间序列时需要遍历所有chunk，相当于读取整个1.5GB文件。在读取时指定适配需求的chunk，只加载目标格点对应的数据块即可：

output = []
for yr in range(startyr, endyr+1):
    for mth in range(1, 13):
        fp = datadirpath / f"{prefix}_sd_{yr}_{str(mth).zfill(2)}.nc"
        # 指定chunk，仅加载目标格点对应的少量数据
        with xr.open_dataset(fp, chunks={"latitude": 10, "longitude": 10, "time": -1}) as src:
            one_month_mean = src['sd'].isel(
                latitude=lat_idx, 
                longitude=lon_idx
            ).mean().values.item()
            output.append([yr, mth, one_month_mean])

调整chunk后单文件读取的IO量从1.5GB降到KB级，单次循环耗时可以降到百毫秒以内。

3. 用并行逻辑替代手动循环 #

如果需要处理大量变量或站点，可以直接用open_mfdataset的并行能力批量处理，不用手动写嵌套循环：

# 批量读取所有文件，自动并行加载
ds = xr.open_mfdataset(
    datadirpath.glob(f"{prefix}_sd_*.nc"),
    chunks={"latitude": 1, "longitude": 1, "time": -1},
    parallel=True
)
# 直接计算逐月累平均结果，无需手动存列表
point_series = ds['sd'].isel(latitude=lat_idx, longitude=lon_idx)
# 30年尺度的月均值长期平均
long_term_monthly_mean = point_series.groupby("time.month").mean().compute()

4. 长期优化建议 #

如果同类操作非常频繁，可以提前对原netCDF文件做重分块处理，把chunk调整为{'time': 720, 'latitude': 5, 'longitude': 5}这类适配格点提取的格式，后续所有单格点读取的速度都会有数量级提升。

内容的提问来源于stack exchange，提问作者chryss