如何在不收集结果的情况下对Dask DataFrame执行计算？

你需要触发Dask DataFrame每个分区的计算逻辑，但不想把结果汇总回本地客户端，同时规避内存溢出风险，以下是几种可行的解决方案：

方案1：用to_delayed()+client.compute()触发任务 #

将分区操作转为延迟对象，直接在集群上执行任务，本地不接收任何结果：

from dask.distributed import Client

client = Client()  # 初始化集群客户端

ddf = dd.read_parquet(...)
ddf["shuffle_value"] = ddf.map_partitions(calc_shuffle_value, meta=("shuffle_value", "int64"))
ddf = ddf.shuffle(ddf.shuffle_value, ignore_index=True, npartitions=N)

# 把分区操作转为延迟对象集合
delayed_tasks = ddf.map_partitions(output_func, meta=("unused_value", "int64")).to_delayed()

# 触发集群执行所有分区任务，本地仅提交任务不接收结果
client.compute(delayed_tasks)

这种方式让集群独立处理每个分区的output_func，本地完全不会拉取计算结果，彻底避免内存压力。

方案2：用persist()替代compute() #

如果需要在集群上保留分区计算后的状态（但不需要拉回本地），可以使用persist()：

# 执行分区操作，将结果留在集群worker的内存中，不传输到本地
ddf.map_partitions(output_func, meta=("unused_value", "int64")).persist()

persist()会触发所有分区的计算，结果存储在集群节点上，后续不需要时可以用client.cancel()释放资源。

方案3：直接调用compute()但忽略返回值 #

因为你的output_func返回的是极小的占位值（比如示例中的unused_value），直接调用compute()但不赋值给变量也不会有内存问题：

ddf.map_partitions(output_func, meta=("unused_value", "int64")).compute()

此时本地只会接收与分区数等量的小整数，完全不会造成内存溢出，实现上最简洁。

注意事项 #

• 确保output_func是无状态的，能独立处理单个分区的数据（比如写入worker节点本地文件、写入分布式存储等）。
• 如果使用集群，要保证worker节点具备执行output_func操作的权限（比如访问外部存储的权限）。

内容的提问来源于stack exchange，提问作者Stephen