Python多进程使用Queue无法返回父进程问题排查

1. 未等待子进程完成就执行后续操作 #

如果父进程没有调用process.join()等待子进程结束，会出现两种致命问题：要么父进程在子进程还未将数据写入Queue时就尝试取数据，导致queue.get()无限阻塞；要么父进程直接提前退出（Windows系统下更常见），后续的结果拼接代码根本没有执行机会。

错误代码示例：

from multiprocessing import Process, Queue
import pandas as pd

def worker(df_part, q):
    processed = df_part * 2
    q.put(processed)
    print("子进程执行结束")

if __name__ == "__main__":
    df = pd.DataFrame({'a': [1,2,3,4], 'b': [5,6,7,8]})
    q = Queue()
    p = Process(target=worker, args=(df.iloc[:2], q))
    p.start()
    # 未调用p.join()等待子进程完成
    result1 = q.get()
    result2 = q.get()  # 仅启动了一个子进程，此处会永久阻塞
    final_df = pd.concat([result1, result2])
    print("父进程拼接完成")

2. Queue的get()操作无限阻塞 #

如果子进程因内部异常未执行到q.put()（比如处理DataFrame时触发列不存在、类型错误等），父进程的queue.get()会一直阻塞，后续代码完全无法推进。

错误代码示例：

def worker(df_part, q):
    try:
        # 访问不存在的列触发KeyError
        processed = df_part['non_exist_col'] * 2
        q.put(processed)
    except Exception as e:
        print(f"子进程出错: {e}")
    print("子进程执行结束")

此时子进程会打印结束消息，但未向Queue写入数据，父进程的q.get()会永久卡住。

3. Windows系统下的多进程启动逻辑问题（Python 3.7默认用spawn） #

Windows系统中，multiprocessing默认以spawn方式启动子进程，这会重新导入主模块。如果启动进程的代码未放在if __name__ == "__main__":块内，会导致子进程重复创建新进程，最终父进程被阻塞或崩溃。

错误代码示例：

from multiprocessing import Process, Queue
import pandas as pd

# 启动进程的代码未放在main块内，Windows下会重复执行
df = pd.DataFrame({'a': [1,2,3,4], 'b': [5,6,7,8]})
q = Queue()
p = Process(target=worker, args=(df.iloc[:2], q))
p.start()

def worker(df_part, q):
    processed = df_part * 2
    q.put(processed)
    print("子进程执行结束")

if __name__ == "__main__":
    p.join()
    result = q.get()
    print("父进程拼接完成")

4. DataFrame序列化失败 #

虽然pandas DataFrame可通过pickle序列化后放入Queue，但如果DataFrame包含无法序列化的对象（比如自定义类实例、某些第三方库的特殊对象），子进程执行q.put(processed)时会抛出异常，导致数据未写入Queue，父进程get()操作阻塞。

排查与修复建议 #

• 给所有子进程添加join()调用，确保父进程等待子进程完成后再执行后续操作。
• 给queue.get()设置超时参数，比如q.get(timeout=10)，快速定位是否为取数据阻塞问题。
• 在子进程代码中添加完整的异常捕获，打印详细错误信息，确认子进程是否完成数据写入。
• 所有启动进程的代码必须放在if __name__ == "__main__":块内（Windows系统强制要求）。
• 测试子进程写入Queue的操作是否正常，比如在q.put()后打印q.qsize()确认数据已入队。

内容的提问来源于stack exchange，提问作者WooseokChoi