如何检查子进程是否已完成？多Process启动场景的循环优化

我来给你几个实用的方案，替代那种无限sleep的死循环，让主线程能灵活检查子进程状态，等所有子进程跑完后再执行后续操作：

方案一：追踪进程列表，用is_alive()检查状态 #

首先，你需要把启动的每个子进程都存到一个列表里，这样后续才能逐个检查它们的存活状态。然后在循环里判断是否所有进程都已终止，只要还有进程在跑，就短暂休眠后再检查，直到全部完成。

from multiprocessing import Process
import time

# 假设你的MyURLParser类已经定义完成
process_count = 5  # 替换成你的实际进程数
active_processes = []

# 启动所有子进程并保存到列表
for i in range(1, process_count + 1):
    hup = MyURLParser()
    p = Process(target=hup.run)
    p.start()
    active_processes.append(p)

# 优雅等待所有子进程结束
while True:
    # 判断是否所有进程都已结束：只要有一个还活着，all_finished就是False
    all_finished = not any(proc.is_alive() for proc in active_processes)
    if all_finished:
        print("所有子进程都跑完啦，主线程退出循环～")
        break
    print("还有子进程在干活，主线程歇会儿再检查...")
    time.sleep(5)  # 这里可以根据需求调整休眠时长，不用等20秒这么久

# 到这里就可以执行主线程的其他操作了
print("开始处理主线程的后续任务！")

方案二：用join()带超时参数，动态移除已完成进程 #

join()方法本来是用来阻塞等待进程结束的，但加上timeout参数后，它会在超时后返回，不会一直卡着。我们可以维护一个未完成进程的列表，每次循环检查并移除已经结束的进程，直到列表为空。

from multiprocessing import Process
import time

process_count = 5
active_processes = []

for i in range(1, process_count + 1):
    hup = MyURLParser()
    p = Process(target=hup.run)
    p.start()
    active_processes.append(p)

# 循环等待，直到所有进程完成
while active_processes:
    # 遍历列表的副本，避免修改原列表时引发遍历错误
    for proc in list(active_processes):
        # 等待3秒，超时就继续下一个检查
        proc.join(timeout=3)
        if not proc.is_alive():
            active_processes.remove(proc)
            print(f"进程{proc.pid}已经完成任务啦")
    print("还有进程在运行，继续等待...")

print("所有子进程都结束了，主线程开始搞事情！")

方案三：用Pool管理同构任务（如果适用） #

如果你的所有子进程都是执行相同逻辑的任务，用multiprocessing.Pool会更省心——它自带的机制会帮你管理进程生命周期，不用手动追踪每个进程。

from multiprocessing import Pool
import time

# 把解析逻辑封装成函数，方便Pool调用
def run_parser_task(_):
    hup = MyURLParser()
    hup.run()

process_count = 5

if __name__ == "__main__":
    # 用with语句自动管理池的关闭和等待
    with Pool(processes=process_count) as pool:
        # 提交process_count个任务
        pool.map(run_parser_task, range(process_count))
    
    # with块结束后，所有任务肯定都完成了
    print("所有子进程任务搞定，主线程开始执行后续操作！")

小提醒 #

• 一定要把启动的进程保存到列表里，不然根本没法追踪它们的状态；
• 循环里适当加sleep很重要，不然会频繁检查占用大量CPU；
• 如果需要判断子进程是否正常退出，可以用proc.exitcode获取退出码（0通常表示正常结束）。

内容的提问来源于stack exchange，提问作者Rahul Iyer