f2py与MPI Pool：集群中父作业被删除后子进程仍持续运行

我之前也碰到过一模一样的糟心事！用MPIPool跑30核Python作业，执行qdel <job ID>后，作业虽然从队列消失了，但30个Python子进程居然还在后台耗资源，集群负载直接飙升，只能手动去登录节点一个个杀，太麻烦了。下面几个亲测有效的解决方案，你可以试试：

1. 在Python脚本里添加信号捕获，主动清理子进程 #

问题的核心是qdel只给父进程发了终止信号，但子进程没收到通知。我们可以在代码里注册SIGTERM信号处理函数，让父进程被终止时主动关闭MPIPool并通知所有子进程退出：

import signal
from mpi4py import MPI
from pathos.pools import MPIPool

# 全局变量保存pool实例，方便信号处理函数调用
pool = None

def handle_sigterm(signum, frame):
    """捕获SIGTERM信号，清理MPIPool并终止所有进程"""
    global pool
    if pool is not None:
        pool.close()
        pool.join()
    # 通过MPI的Abort命令强制所有进程退出
    MPI.COMM_WORLD.Abort(0)

if __name__ == "__main__":
    # 注册SIGTERM信号处理
    signal.signal(signal.SIGTERM, handle_sigterm)
    
    pool = MPIPool()
    pool.start()
    
    # 这里写你的作业逻辑代码
    # 比如：results = pool.map(your_function, your_data)
    
    # 正常结束时也要清理pool
    pool.close()
    pool.join()

这样当你执行qdel时，父进程会收到SIGTERM信号，触发处理函数，主动关闭MPIPool并让所有MPI进程一起退出，不会留下孤儿进程。

2. 用mpiexec的--kill-on-exit参数（集群支持的话） #

如果你的集群用的是OpenMPI，可以在作业提交脚本里给mpiexec加上--kill-on-exit参数，让主进程退出时自动杀掉所有关联的子进程：

# 提交脚本里的执行命令
mpiexec --kill-on-exit -n 30 python your_script.py

这个参数会让mpiexec监控主进程状态，一旦主进程终止，就强制终止所有子进程，从根源避免残留。

3. 应急批量清理残留进程（临时方案） #

如果上面的方法都来不及用，或者已经有一堆残留进程了，可以在登录节点用pkill批量清理，不用一个个找PID：

# 按用户名清理所有Python进程（注意：会杀掉你所有的Python进程，谨慎使用）
pkill -u your_username python

# 更精准：按脚本名清理，只杀和你的作业相关的进程
pkill -f "your_script.py"

这个是应急用的，尽量还是从代码或提交脚本层面解决，避免误杀其他正常运行的进程。

内容的提问来源于stack exchange，提问作者stroopwafel