如何使用Python Multiprocessing Pool替代Process处理多XML URL爬虫任务

你的核心问题是原有Process方式会一次性启动与任务数等量的进程，当任务量远大于CPU核心数时，极易触发资源耗尽（也就是你担心的fork bomb）。而multiprocessing.Pool可以固定同时运行的进程数，完美适配你的8核CPU，从根源避免这个问题。

第一步：修正并适配任务函数 #

先把你的proclaunch改成能接收参数的形式，同时修复原有代码里的语法错误：

import os
from multiprocessing import Pool

def proclaunch(params):
    # 从传入的参数组中拆分出四个文件路径
    in_xml, out1_csv, out2_csv, log_txt = params
    # 用f-string拼接命令，避免空格或特殊字符导致的错误
    os.system(f"scrap2.py {in_xml} {out1_csv} {out2_csv} {log_txt}")

第二步：用Pool重构进程管理逻辑 #

替换掉原来的Process循环，改用Pool来批量处理任务：

def prochandler():
    # 设定进程池大小，直接用你的CPU核心数8，也可以用cpu_count()自动获取
    num_processes = 8
    # 使用with语句自动管理进程池的生命周期（启动/关闭）
    with Pool(num_processes) as pool:
        # map方法会自动把lstfiles中的每个元素传入proclaunch函数
        # 进程池会控制同时运行的进程数，最多8个
        pool.map(proclaunch, lstfiles)

为什么不会触发fork bomb？ #

Pool会维护一个固定数量的进程池，当某个进程完成当前任务后，会自动去处理下一个待执行的任务，永远不会同时运行超过设定的进程数。哪怕你的lstfiles有几百个任务，也只会排队依次处理，不会一次性占满系统资源。

进阶优化建议 #

如果scrap2.py是你自己编写的Python脚本，建议直接导入里面的核心函数调用，而不是用os.system启动独立进程，这样能减少开销、更易捕获错误：

# 假设scrap2.py中有一个main函数接收四个参数
from scrap2 import main

def proclaunch(params):
    in_xml, out1_csv, out2_csv, log_txt = params
    main(in_xml, out1_csv, out2_csv, log_txt)

如果需要跟踪任务进度，可以用imap_unordered代替map，能逐个获取完成的任务结果：

with Pool(num_processes) as pool:
    for _ in pool.imap_unordered(proclaunch, lstfiles):
        print("一个爬虫任务处理完成")

内容的提问来源于stack exchange，提问作者UsmanIdrees