如何在Dask Distributed中禁用纯函数假设？

有几种可靠的方法可以完全禁用Dask Distributed的缓存行为，解决基准测试时重复计算被复用的问题，针对Dask集合（Array、DataFrame、Bag等）的场景，具体方案如下：

方法1：在集合操作中设置pure=False #

大部分Dask集合的核心操作（如da.map_blocks、ddf.map_partitions、db.map）都支持pure=False参数。将该参数设为False后，调度器会将对应任务标记为非纯函数，不会复用之前的计算结果，每次触发计算都会重新执行任务。

示例代码：

import dask.array as da

def benchmark_func(x):
    # 基准测试函数逻辑，这里模拟耗时操作
    import time
    time.sleep(0.1)
    return x * 2

# 创建测试用Dask数组
arr = da.ones((1000, 1000), chunks=(100, 100))

# 调用map_blocks时设置pure=False，禁用缓存
result = arr.map_blocks(benchmark_func, pure=False)

# 多次compute都会重新执行任务，符合基准测试需求
for _ in range(3):
    result.compute()

方法2：全局禁用调度器缓存 #

通过调整Dask配置或直接修改调度器设置，全局关闭缓存功能，适合整个基准测试流程都不需要缓存的场景。

方式A：修改Dask全局配置 #

import dask
# 将调度器缓存最大容量设为0，彻底禁用缓存
dask.config.set({"distributed.scheduler.cache.size": 0})

from dask.distributed import Client
client = Client()

方式B：直接操作运行中的调度器 #

from dask.distributed import Client
client = Client()
# 动态设置调度器缓存最大容量为0
client.scheduler.set_cache(maxsize=0)

方法3：添加无意义可变参数绕过缓存 #

如果某些集合操作不支持pure=False参数，可以给目标函数添加一个每次调用都不同的占位参数，让任务的哈希标识唯一，从而绕过调度器的缓存机制。

示例代码：

import dask.array as da

def benchmark_func(x, dummy):
    # dummy参数仅用于改变任务哈希，不参与实际计算逻辑
    import time
    time.sleep(0.1)
    return x * 2

arr = da.ones((1000, 1000), chunks=(100, 100))

# 生成与原数组分块数量匹配的随机值数组，确保每个任务的哈希唯一
dummy_arr = da.random.random(size=arr.numblocks, chunks=(1,))
result = da.map_blocks(benchmark_func, arr, dummy_arr, meta=arr.dtype)

# 多次compute都会重新执行任务
for _ in range(3):
    result.compute()

内容的提问来源于stack exchange，提问作者tierriminator