合并带空间重叠的时序卫星Xarray数据集过慢，求优化方案

我正在处理不同时间、不同位置的卫星NetCDF数据，数据以Xarray Dataset形式存储。我希望获取给定时间窗口内测量值的“并集”，以得到完整的空间覆盖范围。我了解xarray.merge可用于此场景，但compat参数的所有取值都不符合我的需求——不同时间的测量数据存在空间重叠，我需要保留最新值。

我尝试使用xarray.Dataset.combine_first进行递归合并（该方法可合并数据集并保留第一个数据集的值），编写的函数如下：

def combine_in_time(ds,
                    start:str,
                    end:str,
                    varname:str) -> xr.DataArray:
    """returns DataArray with values combined in time
    """
    ds = ds.sortby('time')
    ds_list = [ds[varname].sel(time=time) for time in ds.time.sel(time=slice(start,end))]

    ds.time.sel(time=slice(start,end))

    def combine(ds_list):
        
        if len(ds_list) == 0:
            pass
        elif len(ds_list) == 1:
            return ds_list[0]
        else:
            ds_list[0] = ds_list[0].combine_first(ds_list[1])
            ds_list.pop(1)
            return combine(ds_list)

    return combine(ds_list)

但该方法运行速度极慢，我猜测原因是需要重复合并数据集。请问如何提速？是否可以一次性合并所有时间坐标的数据？另外，xarray.reduce似乎可能适用，但我不确定如何实现相关函数。

1. 用xarray.reduce按时间优先级合并 #

既然要保留最新值，先把数据按时间降序排序，让最新数据排在最前面，再用reduce结合combine_first一次性完成合并，避免递归的重复开销：

def combine_in_time_fast(ds, start: str, end: str, varname: str) -> xr.DataArray:
    # 筛选时间窗口数据并按时间降序排序
    ds_sub = ds[varname].sel(time=slice(start, end)).sortby('time', ascending=False)
    # 用reduce一次性合并，保留前面（最新）数据的非空值，用后面的旧数据填充空缺
    merged = ds_sub.reduce(lambda x, y: x.combine_first(y), dim='time')
    return merged

2. 向量化操作：用bfill直接取最新非空值 #

这是效率最高的方法，利用xarray的内置向量化优化，直接沿时间维度取每个空间点的最后（最新）非空值：

def combine_in_time_vectorized(ds, start: str, end: str, varname: str) -> xr.DataArray:
    ds_sub = ds[varname].sel(time=slice(start, end)).sortby('time')
    # 将时间维度转至最后，沿时间维度向后填充（取最新非空值），再取最后一个时间步的结果
    merged = ds_sub.transpose(..., 'time').bfill(dim='time').isel(time=-1)
    return merged

原理是：bfill会为每个空间点从后往前查找第一个非空值，也就是该点的最新测量值，刚好满足重叠区域留最新、空缺区域补历史的需求。

原方法慢的核心原因 #

你的递归函数每次合并都会创建新数据集，且反复修改列表、弹出元素，产生大量中间对象，既耗内存又耗时间。上面两种方法都是一次性处理整个时间序列，完全避免了这类额外开销。

内容的提问来源于stack exchange，提问作者StubBurn