Python队列与线程实现并发API调用故障求助

嘿，看起来你照着高并发HTTP请求的经典方案写代码时踩了线程+队列模式的常见坑。结合你的描述，我梳理了几个最可能出问题的地方，以及对应的调试和修复方法：

1. 队列操作的线程安全问题 #

首先检查目标函数里的队列读取逻辑——是不是用了queue.get()之后没调用queue.task_done()？如果线程只取任务不标记完成，主函数里的queue.join()会一直阻塞，看起来就像线程卡死了。正确的流程应该是：

def worker(queue):
    while True:
        url = queue.get()
        try:
            # 发送请求逻辑
            response = requests.get(url)
            # 处理响应逻辑
        except Exception as e:
            print(f"请求失败: {e}")
        finally:
            queue.task_done()  # 必须标记任务完成，否则join会一直阻塞

2. 线程初始化与管理错误 #

主函数启动线程时，有没有把队列正确传递给worker？比如用threading.Thread(target=worker, args=(queue,))时，args必须是元组（注意末尾的逗号），少了逗号会导致参数传递错误，线程根本无法正常执行。另外，启动线程后有没有调用thread.join()？如果没等线程结束主程序就退出，会导致线程被强制终止，请求自然无法完成。

3. HTTP请求的资源复用与异常处理 #

• 会话复用：如果每个请求都新建requests.get()，会频繁创建销毁连接，不仅速度慢还容易触发服务器限流。应该给每个线程初始化一个requests.Session()，或者用线程本地存储（threading.local()）避免会话共享问题：

  def worker(queue):
      session = requests.Session()
      while True:
          url = queue.get()
          try:
              response = session.get(url, timeout=10)  # 必须加超时，避免线程挂起
              response.raise_for_status()  # 主动抛出HTTP错误码异常
          except requests.exceptions.RequestException as e:
              print(f"请求 {url} 失败: {e}")
          finally:
              queue.task_done()
  

• 超时设置：一定要给请求加timeout参数，不然遇到无响应的API会导致线程一直挂起，占着资源不释放。

4. 队列填充的时机问题 #

有没有在启动线程之后才往队列里加任务？正确顺序应该是：先填充队列，再启动线程；或者确保填充队列的操作在线程启动前完成，不然线程可能会因为队列空而提前退出（如果没做阻塞读取的话）。

调试小技巧 #

• 在目标函数里加日志，打印每个线程的ID、正在处理的URL、请求结果，快速定位是哪个环节出问题。
• 先小批量测试，比如先放10个请求，看线程是否正常处理，再逐步放大到100、1000，避免一下子跑10万请求难以调试。

你可以先对照这几点检查代码，要是还有具体的报错信息或者代码片段，贴出来能更精准地定位问题~

内容的提问来源于stack exchange，提问作者Rafael Marques