如何避免内核杀死使用multiprocessing.Pool并行处理pandas的Python进程

触发原因 #

内核主动终止进程基本都是触发了系统OOM（内存溢出）回收机制，你的场景下具体诱因包含3类：

• 多进程启动时每个子进程都会独立复制父进程的全量内存数据，使用全部核心运行时，多份DataFrame副本+子进程处理时的临时内存+请求返回结果累积，总内存占用超过系统阈值被OOM killer清理
• apply内的本地请求没有做资源复用、超时控制，子进程堆积大量未释放的网络连接、套接字资源，触发系统资源上限导致进程被回收
• 原实现用Pool.map需要等待所有子进程全部返回结果才会合并，处理7万行数据时大分片的结果集会长时间驻留内存，进一步加重内存压力

具体修复方案 #

1. 降低并行负载，优化内存释放 #

• 不要占满全部CPU核心，建议最多使用总核心数-2，预留系统资源处理内核任务与本地服务请求，同时减少并行的DataFrame副本数
• 替换map为imap迭代处理小分片，边处理边释放内存，优化后的代码如下：

import numpy as np
import pandas as pd
import gc
from multiprocessing import Pool

def parallelize_dataframe(df, func, n_cores=4, chunk_size=1000):
    # 拆分更小的分片，降低单进程内存驻留量
    df_split = np.array_split(df, max(2, len(df) // chunk_size))
    # 用上下文管理器自动管理Pool生命周期，避免资源泄漏
    with Pool(n_cores) as pool:
        # imap迭代返回结果，不用等全部分片处理完成即可合并，逐步释放内存
        result_list = []
        for res in pool.imap(func, df_split, chunksize=1):
            result_list.append(res)
            # 手动触发内存回收
            gc.collect()
    return pd.concat(result_list)

• 处理函数func内及时清理不需要的临时变量，使用del 变量名主动释放无用内存

2. 优化本地请求资源占用 #

• 所有请求必须加超时限制，例如使用requests时设置timeout=(3, 10)，避免请求卡住占用进程资源
• 复用HTTP连接池，不要每次请求新建连接：可在func初始化时创建全局requests Session，复用连接减少资源开销
• 增加简单的请求限流逻辑，避免并发请求压垮本地服务器，导致请求超时堆积进一步占用资源

3. 辅助排查与防护 #

• 运行脚本时执行dmesg | grep -i kill查看内核日志，确认是否存在Out of memory: Killed process xxxx (python)的记录，验证是否是OOM导致的进程终止
• 如有root权限，可临时降低进程被OOM killer选中的优先级：启动脚本前执行echo -1000 > /proc/self/oom_score_adj，生产环境需谨慎操作

内容的提问来源于stack exchange，提问作者Ali Irani