Python multiprocessing任务完成后进程无法正常退出如何排查

你贴的p.map() -> p.close() -> p.join()的调用顺序本身是正确的，出现所有数据迁移完成但进程不终止的问题，本质是子进程并没有真正执行完退出逻辑，卡在了资源释放或者后台等待环节，常见原因和对应修复方式如下：

• 数据库资源未正确释放
  这是数据迁移场景下最高发的原因。如果do_process函数里的数据库操作没有显式提交/回滚事务、任务执行完没有主动关闭数据库连接，或是使用了连接池但没有在子进程退出前归还连接、关闭连接池，子进程会一直卡在数据库连接的网络IO或者事务锁等待环节，哪怕你观测到所有数据都已经写入数据库，子进程也走不到退出流程。
  额外注意：Linux下multiprocessing默认用fork模式创建子进程，如果在主进程创建Pool之前就初始化了数据库连接，子进程会直接拷贝父进程的连接文件描述符，多个子进程共用同一个连接句柄写入，最后释放资源时会出现竞态卡死，这类问题非常隐蔽。
• 进程间通信资源残留
  如果你的do_process逻辑里用到了multiprocessing.Queue、multiprocessing.Pipe做跨进程通信，只要队列/管道里还有未被消费的数据，底层负责通信的后台线程会一直阻塞等待数据读取，哪怕业务逻辑跑完了，子进程也会因为后台线程没退出而卡住，导致join()一直阻塞。
• 子进程内部存在死锁或非守护线程阻塞
  如果do_process里自己启动了后台线程且没有设置为守护线程，或是多进程锁、文件锁没有正常释放，出现了死锁、永远等待不可能触发的信号的情况，子进程会一直挂起。这种场景下你看到的“所有数据写完”只是业务逻辑跑到了写入步骤，最后有进程卡在锁等待环节，根本不会执行退出。

修复方案 #

• 所有数据库资源不要在主进程初始化后fork给子进程，统一在子进程启动阶段新建：可以利用Pool的initializer参数传入子进程初始化函数，在每个子进程里单独创建数据库连接/连接池，避免fork带来的资源状态不一致问题。
• 数据库操作必须加异常捕获，无论单条数据处理成功还是失败，都要显式执行commit()或者rollback()，不要依赖进程退出时自动提交事务。任务逻辑执行完后主动关闭数据库连接，使用连接池的场景要在子进程退出前显式关闭连接池。
• 如果用到了Queue/Pipe做进程间通信，任务结束前要确保所有入队的数据都被消费完毕，显式关闭通信句柄，不要残留未处理的通信数据。
• 排查阶段可以在do_process逻辑的最后一行打印日志，确认是哪个子进程没有走到逻辑终点，定位具体的阻塞点。Windows环境下必须把所有多进程启动逻辑放在if __name__ == "__main__":代码块内，避免子进程递归执行主逻辑导致卡死。

参考正确代码结构：

import os
import multiprocessing as mp

def init_worker():
    # 每个子进程启动时单独初始化数据库连接，禁止从主进程拷贝
    global db_conn
    db_conn = create_your_db_connection()

def do_process(single_data):
    try:
        # 执行单条数据写入逻辑
        db_conn.execute("YOUR INSERT SQL", single_data)
        db_conn.commit()
    except Exception:
        db_conn.rollback()
        # 记录错误日志即可，不要抛未捕获的异常导致连接未释放
    # 注意不要在这里遗留未关闭的文件、锁、连接句柄

if __name__ == "__main__":
    # 主进程不要提前创建数据库连接
    worker_num = os.cpu_count()
    pool = mp.Pool(worker_num, initializer=init_worker)
    pool.map(do_process, your_migrate_data_list)
    pool.close()
    pool.join()

内容的提问来源于stack exchange，提问作者kikee1222