Python线程中持续阻塞调用queue.get()数小时是否存在问题？

1. 线程阻塞数小时的隐患 #

Python线程阻塞在Queue.get()上本身是安全的，不会消耗CPU资源——此时线程会进入操作系统的等待状态，完全不占用CPU时间片，仅占用少量内存（线程栈空间，通常几MB量级）。

但你当前代码存在一个实际隐患：consume_queue是普通全局变量，没有线程同步保护。当主线程修改consume_queue=False时，子线程可能因为正阻塞在get()上，无法立刻感知到这个变化，导致子线程一直卡在get()处无法退出，甚至在主脚本退出时仍残留后台线程，无法正常释放资源。

2. 未设置超时的get()是否会失败 #

正常情况下，只要队列对象本身有效，未设置超时的get()会一直阻塞到有元素入队，不会主动抛出失败异常。只有在以下场景才会出现异常：

• 整个进程被强制终止（比如主线程崩溃、收到kill信号），此时子线程会被强制结束，可能伴随未捕获的异常；
• 你在transform data, upload等后续操作中抛出异常，触发外层的except块，但这不是get()本身的失败。

3. 是否会影响主脚本性能 #

完全不会。阻塞的线程处于休眠状态，不占用CPU资源，对主脚本的运行性能没有任何影响，仅占用极少量内存，几乎可以忽略。

4. 是否应该改用事件机制 #

不需要替换队列——队列本身就是线程间传递数据的最佳方案，事件机制更适合状态通知，而非数据传递。你需要做的是改进当前的线程退出逻辑，解决子线程无法及时响应退出信号的问题，推荐方案如下：

# 改进后的性能报告处理代码
import threading
from queue import LifoQueue
import logging

logger = logging.getLogger(__name__)

q_stats = LifoQueue()
# 用Event替代普通全局变量，实现线程安全的退出通知
exit_event = threading.Event()

def handle_queue():
    try:
        while not exit_event.is_set():
            try:
                # 设置1秒超时，每次超时后检查退出事件
                q_stat = q_stats.get(timeout=1)
                # ... 转换数据、上传GDrive等操作 ...
                q_stats.task_done()  # 若使用JoinableQueue，需标记任务完成
            except queue.Empty:
                # 队列空，继续循环检查退出信号
                continue
            except Exception as op_error:
                logger.warning(f"处理数据时发生异常: {op_error}")
                q_stats.task_done()
    except Exception as e:
        logger.warning(f"队列处理线程异常: {e}")
    logger.debug("队列处理线程已关闭")

# 无需强制处理剩余数据时，可设置为守护线程，主线程退出时自动终止子线程
thread_qstat = threading.Thread(target=handle_queue, daemon=False)
thread_qstat.start()

# 主线程需要退出时执行：
# exit_event.set()
# 若需等待队列中所有任务处理完成，调用下方代码（仅适用于JoinableQueue）
# q_stats.join()

改进说明 #

• 用threading.Event替代普通全局变量，实现线程安全的退出信号通知；
• 给get()设置超时，让子线程能定期检查退出信号，避免一直阻塞无法响应；
• 如果需要保证队列中已有数据全部处理完成再退出，不要设置daemon=True，而是调用exit_event.set()后，用q_stats.join()等待任务处理完毕。

内容的提问来源于stack exchange，提问作者ABO