使用Concurrent Futures时任务未提交，load_url无输出问题求助

我帮你排查下代码里的问题，这几个关键点导致任务没正常执行、看不到打印输出：

问题根源 #

1. 队列类型用错了 #

普通的queue.Queue()只能用于线程间通信，没法跨进程共享。你用了ProcessPoolExecutor多进程执行任务，子进程根本访问不到这个队列，大概率导致任务执行异常（虽然加了try-except，但进程间的异常可能没被正确捕获输出）。

2. 子进程打印被缓冲 #

默认情况下子进程的print输出会被缓冲，不会实时显示到控制台，所以你看不到load_url里的打印内容。

3. 主循环逻辑有问题 #

• 一开始把runningfutures设为布尔值，后来又改成列表，while runningfutures:的判断逻辑混乱，而且没有等待机制，会空转浪费CPU；
• 只有等所有任务都停止了才去读队列，不仅没法实时获取数据，生成器第一次yield后就暂停，后续逻辑也没法继续；
• 没处理Future的结果和异常，就算任务失败了你也不知道。

修复后的代码 #

import sys
from concurrent import futures
import multiprocessing
import time

def load_url(url, q):
    # 处理一个URL需要2秒
    print('load_url starting for:', url, flush=True)
    try:
        time.sleep(2)
        # 向队列中放入一些模拟结果
        for x in range(5):
            print(f'put {x} in queue for {url}', flush=True)
            q.put((url, x))
    except Exception as e:
        print(f'exception in load_url for {url}: {e}', flush=True)

def main():
    print('start', flush=True)
    manager = multiprocessing.Manager()
    q = manager.Queue()  # 用进程安全的队列

    with futures.ProcessPoolExecutor(max_workers=5) as executor:
        # 提交任务
        livefutures = {executor.submit(load_url, url, q): url for url in ['a','b']}
        print('check_futures', flush=True)

        # 处理任务和队列，直到所有任务完成且队列空
        while livefutures or not q.empty():
            # 等待任务完成或队列有数据，避免空转
            done, _ = futures.wait(livefutures, timeout=0.5)
            for future in done:
                url = livefutures.pop(future)
                # 检查任务是否有异常
                try:
                    future.result()
                except Exception as e:
                    print(f'Task for {url} failed: {e}', flush=True)
            
            # 取出队列中的所有现有数据
            while not q.empty():
                item = q.get_nowait()
                yield item

if __name__ == '__main__':
    for x in main():
        print('x=', x, flush=True)

修复说明 #

• 换用进程安全队列：把queue.Queue()改成multiprocessing.Manager().Queue()，确保多进程能正常共享队列；
• 强制刷新输出：给所有print加flush=True，让子进程的打印实时显示；
• 优化循环逻辑：
  • 用futures.wait()等待任务完成，避免CPU空转；
  • 实时处理完成的任务，检查是否有异常；
  • 实时读取队列数据，不用等所有任务结束；
  • 循环条件改成livefutures or not q.empty()，确保所有任务和队列数据都处理完才退出。

这样改完后，你就能看到load_url里的打印，队列里的数据也能正常输出了。

内容的提问来源于stack exchange，提问作者user1050619