如何消除DASK执行完成后持续出现的full garbage collections性能警告？

我来帮你搞定这个烦人的警告！首先得搞清楚为啥关了client还会有提示——其实client.close()只是断开了客户端和集群的连接，但很多时候worker进程、集群资源并没有完全被清理，或者你的写入过程可能还在间接用到DASK的后台机制。下面是几个靠谱的解决办法，按优先级来：

1. 彻底清理DASK集群资源 #

别只调用client.close()，如果是你自己启动的LocalCluster（或者其他类型集群），一定要连集群一起关掉：

# 假设你是这么创建集群和客户端的
from dask.distributed import Client, LocalCluster

cluster = LocalCluster()
client = Client(cluster)

# 计算完成后，先关客户端，再关集群
client.close()
cluster.close()

如果是用Client()自动创建的默认集群，可以用client.shutdown()彻底终止所有worker进程：

client.shutdown()
client.close()

这样能确保DASK相关的后台进程全部停止，不会再偷偷占用CPU做垃圾回收。

2. 确保写入前已完全转换为本地对象 #

有时候你以为计算完了，但其实写入时还在处理Dask数组/DataFrame（比如直接在Dask对象上调用to_csv()或to_hdf()），这时候DASK后台还在工作。正确的做法是先把Dask对象compute成本地的NumPy数组/Pandas DataFrame，再执行写入：

# 错误示例：直接在Dask对象上写入
dask_df.to_csv("result.csv")

# 正确做法：先转成本地对象再写入
local_df = dask_df.compute()
local_df.to_csv("result.csv")

这样写入阶段就完全和DASK无关了，自然不会有GC警告。

3. 调整或禁用GC警告 #

如果以上方法都试了还是有警告，那可以直接调整DASK的警告阈值，或者干脆关掉这个提示：

方法A：修改DASK配置 #

你可以在代码里设置配置，把GC警告的阈值调高（默认是10%），比如调到25%，这样只有当GC占用CPU超过25%时才会触发警告：

import dask.config

dask.config.set({"distributed.utils_perf.gc-warning-threshold": 25})

如果想彻底禁用这个警告，直接把阈值设成100就行：

dask.config.set({"distributed.utils_perf.gc-warning-threshold": 100})

方法B：通过logging模块禁用警告 #

这是更通用的Python日志控制方法，直接把distributed.utils_perf的日志级别调到ERROR，就不会显示WARNING级别的信息了：

import logging

logging.getLogger("distributed.utils_perf").setLevel(logging.ERROR)

4. 手动触发垃圾回收 #

在写入前手动触发一次完整的GC，也能减少后续的GC操作和警告：

import gc

# 关闭DASK资源后手动执行GC
client.close()
cluster.close()
gc.collect()

# 再开始写入磁盘

按这个顺序试下来，应该能彻底解决你的问题！

内容的提问来源于stack exchange，提问作者NSJ