Dask Nanny内存错误：Worker终止过慢致程序崩溃求助

问题根源分析 #

你的代码存在两个核心问题：

• 线程数设置严重不合理：threads_per_worker=200会导致每个Worker创建200个线程，不仅因Python GIL限制无法提升CPU密集型任务效率，还会大幅增加内存开销和上下文切换成本，直接加剧内存压力。
• JSONL读取未做分块优化：默认的dd.read_json可能将过大的数据块分配给Worker，导致单Worker内存占用超出阈值，触发Nanny内存管控机制，最终引发Worker崩溃。

具体解决步骤 #

• 调整Worker线程数：将threads_per_worker降至2-4（根据CPU核心数调整），Dask DataFrame基于进程并行，过多线程无意义反而浪费资源。
• 指定JSONL分块大小：通过blocksize参数控制每个数据块的大小（如blocksize='64MB'），确保单个Worker处理的数据块内存占用在可控范围内。
• 设置Worker内存上限：在LocalCluster中通过memory_limit为每个Worker分配明确的内存额度（如memory_limit='4GB'），帮助Nanny更精准地监控内存使用。
• 开启Worker日志：添加log_directory='./dask_logs'参数，将Worker日志输出到指定目录，方便排查内存溢出的具体原因。

修改后的代码示例 #

from dask.distributed import LocalCluster
import dask.dataframe as dd
from multiprocessing import freeze_support

if __name__ == '__main__':
    freeze_support()
    # 调整资源配置，开启日志
    cluster = LocalCluster(
        n_workers=2,
        processes=True,
        threads_per_worker=4,  # 合理设置线程数
        memory_limit='4GB',    # 每个Worker内存上限
        log_directory='./dask_logs'  # 日志输出目录
    )          
    client = cluster.get_client()

    # 指定分块大小读取JSONL
    df = dd.read_json("merged_en.jsonl", blocksize='64MB')
    df.x.sum().compute()
    
    client.close()
    cluster.close()

额外排查建议 #

如果调整后仍有内存问题，可以：

• 检查merged_en.jsonl中是否存在超大单行数据，这类数据会突破分块限制导致内存溢出，需要单独处理。
• 使用df.memory_usage().compute()查看数据列的内存占用，判断是否需要对高内存列做类型优化（如将字符串列转为分类类型）。

内容的提问来源于stack exchange，提问作者Dareal