如何在xarray/numpy中高效创建大型数组视图？

核心思路：避免数据复制，复用原数组内存 #

xarray默认的向量化索引会触发数据复制，针对大型数据集，我们可以从底层数组（numpy/Dask）入手，利用视图机制或延迟计算来规避内存浪费。

方法1：利用numpy视图特性（适用于内存可容纳的数据集） #

如果你的DataArray基于numpy数组，可直接操作底层numpy数组的视图，再重新包装成xarray DataArray：

import xarray as xr
import numpy as np

# 原DataArray
da = xr.DataArray(np.random.rand(10000, 10000), dims=["x", "y"])

# 创建numpy切片视图（示例：取偶数行）
numpy_view = da.data[::2, :]

# 包装为xarray DataArray，复用原坐标切片
da_view = xr.DataArray(numpy_view, dims=da.dims, coords={"x": da.x[::2], "y": da.y})

这里da.data[::2, :]是numpy的切片视图，不会复制原始数据，包装后的xarray DataArray仅引用该视图，内存占用极低。

方法2：用Dask实现延迟计算（适用于超大型数据集） #

若数据集超出内存容量，使用Dask作为xarray后端是最优方案。Dask的所有索引、切片操作均为延迟执行，不会立即加载或复制数据：

import xarray as xr
import dask.array as da

# 创建基于Dask分块的DataArray
da = xr.DataArray(da.random.rand(100000, 100000, chunks=(1000, 1000)), dims=["x", "y"])

# 创建大型视图（示例：筛选x坐标大于50000的区域）
da_view = da.where(da.x > 50000, drop=True)

Dask会将操作拆分为任务图，仅当调用.compute()时才会实际执行计算，全程不会一次性复制整个数据集，彻底避免内存溢出。

方法3：xarray原生isel+slice优化 #

xarray的isel方法配合连续切片，多数情况下会返回原数组的视图而非复制数据，尤其当切片对齐原数组的分块结构时：

# 用isel创建连续切片视图
da_view = da.isel(x=slice(0, 5000), y=slice(0, 5000))

这种方式比非连续的向量化索引（如da[da.x < 5000]）效率更高，因为它直接映射到底层数组的连续切片，无数据复制开销。

注意事项 #

• 非连续的随机索引无法通过numpy视图实现，此类场景优先使用Dask延迟计算。
• 包装新DataArray时，务必复用原坐标的切片而非复制坐标数据，进一步节省内存。

内容的提问来源于stack exchange，提问作者Ben Farmer