如何在不触发全量计算加载的前提下获取Dask数组的大小

da.where属于数据过滤类操作，输出数组的长度完全取决于每个分块（chunk）中符合筛选条件的元素数量。Dask在构建任务图的阶段不会实际读取、计算数据，因此无法提前推导输出数组的精确尺寸，此时直接访问.size属性只会返回nan。
你不需要把完整的筛选结果全量加载进内存才能拿到尺寸值，只需要单独做计数统计即可，全程内存开销极低。

方法1：直接基于布尔掩码统计（效率最高） #

da.where返回的坐标数组长度，本质就是筛选条件生成的布尔掩码中True值的总个数。你可以直接对掩码做求和统计，计算过程中每个分块只会返回一个整数计数值，不会存储、传输所有匹配位置的坐标，内存开销仅和单个分块大小相关。

import dask.array as da
import numpy as np

arr = da.random.randint(1, 5, size=(5000,5000),
                        dtype=np.uint8, chunks=(1000,1000))
mask = arr == 2
# 全局统计符合条件的元素总数，就是y.size的精确值
total_size = mask.sum().compute()
print(total_size)

方法2：针对已生成的where结果做分块计数 #

如果你已经写好了da.where的逻辑，不想重新定义掩码，也可以逐块统计输出数组的分块长度再聚合，同样不会加载完整结果到内存：

y, x = da.where(arr == 2)
# 逐块返回当前分块的长度，最后全局求和
total_size = da.map_blocks(
    lambda chunk: np.array(chunk.size, dtype=np.int64),
    y
).sum().compute()
print(total_size)

• 不存在完全不触发数据计算就能拿到精确尺寸的方法：尺寸值本身依赖实际数据内容，必须遍历完所有分块才能得到准确结果，上述方法只是把计算的内存开销降到最低，不需要把全量筛选结果常驻内存。
• 计算过程中每个分块的匹配坐标在统计完长度后就会被即时释放，哪怕符合条件的元素有几百万、上千万，也不会出现内存占满的问题。

内容的提问来源于stack exchange，提问作者Loïc Dutrieux