xarray分块数据集重采样后生成大量非预期时间块问题求助

我正在使用xarray读取一份每6小时采样的大型NetCDF数据集，希望通过日均计算将其降采样至日尺度。已对数据集进行空间分块，但重采样后每个时间样本都成为了单独的块。

最小可复现示例 #

import numpy as np
import pandas as pd
import xarray as xr

Temp = 20 + 10 * np.random.randn(20, 10, 10)   # 生成温度数据
times = pd.date_range("2000-01-01", periods=20)  # 日间隔时间序列
lon = [[i for i in range(10)] for _ in range(10)]
dset = xr.Dataset(
    {"Temp": (["time", "x", "y"], Temp)}, 
    {"lon": (["x", "y"], lon), "lat": (["x", "y"], lon), "time": times}
)
dset = dset.chunk({"x": 5, "y": 5})   # 分块后结构：Frozen({'time': (20,), 'x': (5, 5), 'y': (5, 5)})
re_dset = dset.resample(time="5D").mean()   # 降采样至每5天
re_dset.chunks   # 实际结果：Frozen({'time': (1, 1, 1, 1), 'x': (5, 5), 'y': (5, 5)})

预期与实际差异 #

• 预期重采样后时间块结构：Frozen({'time': (4,), 'x': (5, 5), 'y': (5, 5)})
• 实际重采样后时间块结构：Frozen({'time': (1, 1, 1, 1), 'x': (5, 5), 'y': (5, 5)})

解决方法 #

方法1：使用unify_chunks()合并零散块 #

unify_chunks()会自动合并同一维度下的所有零散块，让维度块结构更规整：

re_dset = dset.resample(time="5D").mean().unify_chunks()
print(re_dset.chunks)  # 输出：Frozen({'time': (4,), 'x': (5, 5), 'y': (5, 5)})

方法2：手动重新指定时间维度分块 #

如果需要更灵活地控制块大小，可以在重采样后手动设置时间维度的分块参数，-1表示将该维度合并为一个完整的块：

re_dset = dset.resample(time="5D").mean().chunk({"time": -1})
print(re_dset.chunks)  # 输出：Frozen({'time': (4,), 'x': (5, 5), 'y': (5, 5)})

原因说明 #

xarray的resample操作基于分组计算实现，默认会为每个重采样的时间间隔生成独立的块。这种设计在处理超大规模数据时可以避免一次性加载过多数据，但如果需要规整的块结构，就需要通过上述方法合并时间维度的零散块。

内容的提问来源于stack exchange，提问作者Lachlan Whyborn