高效计算多维Xarray DataArray中的唯一向量

• Xarray+Numpy底层优化方案
  先把三维数组（假设维度为x, y, feature，其中feature对应17维属性）合并x和y维度为样本维度，再借助Numpy的unique函数（底层C实现，比遍历哈希快几个数量级）提取唯一向量，最后转回Xarray结构：

  import xarray as xr
  import numpy as np
  
  # 假设你的DataArray名为da
  # 合并x、y为样本维度
  da_2d = da.stack(sample=("x", "y"))
  # 按行（每个样本的17维向量）去重
  unique_vecs = np.unique(da_2d.values, axis=0)
  # 转回Xarray，保留feature维度的坐标信息
  unique_da = xr.DataArray(unique_vecs, dims=["unique_sample", "feature"], coords={"feature": da.coords["feature"]})
  

• 分块处理应对超大内存数据
  如果数据集太大，内存放不下完整的二维数组，可以用Xarray的分块功能，逐块提取唯一向量后再全局去重：

  # 按x、y维度分块，大小根据内存调整
  da_chunked = da.chunk({"x": 200, "y": 200})
  unique_vecs_set = set()
  
  # 遍历每个分块
  for chunk in da_chunked.stack(sample=("x", "y")):
      chunk_data = chunk.values
      # 把每个向量转成元组存入集合（自动去重）
      for vec in chunk_data:
          unique_vecs_set.add(tuple(vec))
  
  # 集合转数组再转回Xarray
  unique_vecs_np = np.array(list(unique_vecs_set))
  unique_da = xr.DataArray(unique_vecs_np, dims=["unique_sample", "feature"], coords={"feature": da.coords["feature"]})
  

  开启Dask后还能利用并行加速分块处理，进一步缩短时间。

• Xarray原生unique方法直接调用
  新版本Xarray的unique方法支持指定维度，直接对合并后的样本维度调用即可：

  da_2d = da.stack(sample=("x", "y"))
  unique_da = da_2d.unique(dim="sample")
  

  这种方法最简洁，底层同样调用Numpy的优化实现，速度远快于手动遍历哈希。

内容的提问来源于stack exchange，提问作者Chris