Xarray的open_mfdataset能否处理嵌套结构中数量可变的文件？

问题场景 #

需要用Xarray的open_mfdataset()加载嵌套结构的时空文件，文件结构如下：

[
    [r1_2000_2050.nc, r1_2050_2100.nc],
    [r2_2000_2025.nc, r2_2025_2050.nc, r2_2050_2100.nc]
]

所有文件空间维度一致，不同realization对应的时间分片数量不同，但时间范围均覆盖2000-2100。希望利用open_mfdataset的并行加载与分块机制，避免全量加载数据到内存，但直接使用以下代码时报错：

xr.open_mfdataset(nested_paths, combine='nested', concat_dim=['realization', 'time'])

错误信息：

ValueError: The supplied objects do not form a hypercube because sub-lists do not have consistent lengths along dimension0

解决方案 #

可以通过分两步合并的方式实现需求，既保留open_mfdataset的并行与分块优势，又适配不同长度的子文件列表：

1. 单独合并每个realization的时间分片
   遍历每个realization对应的文件列表，用open_mfdataset合并该组内的时间文件，同时设置chunks参数实现分块加载。

2. 添加realization维度并合并所有数据集
   给每个合并后的单realization数据集添加realization维度，再用xr.concat合并所有realization的数据集。

示例代码 #

import xarray as xr

# 定义嵌套文件路径
nested_paths = [
    ["r1_2000_2050.nc", "r1_2050_2100.nc"],
    ["r2_2000_2025.nc", "r2_2025_2050.nc", "r2_2050_2100.nc"]
]

# 处理每个realization的时间分片
realization_datasets = []
for idx, paths in enumerate(nested_paths):
    # 合并当前realization的所有时间文件，设置分块（可根据数据规模调整chunks参数）
    ds = xr.open_mfdataset(
        paths,
        combine="by_coords",  # 按时间坐标自动合并
        chunks={"time": 20, "lat": 60, "lon": 60}  # 自定义分块大小
    )
    # 添加realization维度并设置坐标标识
    ds = ds.expand_dims("realization").assign_coords(realization=[f"r{idx+1}"])
    realization_datasets.append(ds)

# 合并所有realization数据集
final_ds = xr.concat(realization_datasets, dim="realization")

原理说明 #

• 直接使用combine='nested'报错的原因是：该模式要求所有子列表的长度完全一致，形成规则的"超立方体"结构，但这里两个子列表长度分别为2和3，不符合要求。
• 分两步合并的方式，先让每个realization内部完成时间维度的合并，再横向合并realization维度，既利用了open_mfdataset的并行加载与分块能力，又避免了全量数据加载到内存的问题，最终生成的final_ds依然保持分块状态，支持延迟计算。

内容的提问来源于stack exchange，提问作者Hameliton