Python Queue为何引发线程卡顿与丢帧？附代码对比

问题场景 #

我有两个线程：一个是从高帧率相机采集帧的生产者线程，另一个是将帧写入视频文件的消费者线程。使用Python的Queue实现帧的传输，未录制时一切正常，但启动录制（消费者线程）后，生产者线程变得卡顿，且消费者接收的帧远少于生产者采集的数量。改用block=False的非阻塞put和get方法后，问题解决。

初始代码 #

# consumer
class VideoWriter:
    ...
    def record(self):
        while self.isRecording or not self.frame_queue.empty():
            if not self.frame_queue.empty():
                writer.imwrite(self.frame_queue.get())
    ...

# producter
class MyVideo:
    ...
    def play(self):
        while self.isLiving:
            if self.cap.IsGrabbing():
                frame = self.cap.RetrieveResult(1000)
                if self.video_writer.isRecording:
                    self.video_writer.frame_queue.put(frame)
                show_frame(frame)
    ...

修改后代码 #

# consumer
class VideoWriter:
    ...
    def record(self):
        while self.isRecording or not self.frame_queue.empty():
            try:
                writer.imwrite(self.frame_queue.get(block=False))
            except Empty:
                time.sleep(0.001)
    ...

# producter
class MyVideo:
    ...
    def play(self):
        while self.isLiving:
            if self.cap.IsGrabbing():
                frame = self.cap.RetrieveResult(1000)
                if self.video_writer.isRecording:
                    self.video_writer.frame_queue.put(frame, block=False)
                show_frame(frame)
    ...

问题原因解析 #

1. 生产者线程被阻塞 #

Python的Queue.put()默认是阻塞模式：当队列达到最大容量后，生产者调用put()会被挂起，直到队列有空闲空间。
高帧率相机的采集速度远快于消费者写入视频的速度（磁盘IO的速度远低于相机的采集速率），队列很快就会被填满。此时生产者的put()操作会卡住，导致相机后续的帧无法被及时采集处理，表现为画面卡顿；甚至相机内部的帧缓冲区可能因无法及时取出新帧而溢出，直接造成帧丢失。

2. 消费者线程的低效轮询与竞态条件 #

初始代码中消费者先通过if not self.frame_queue.empty()判断队列是否有帧，再调用get()。这种方式存在两个问题：

• 低效轮询：队列空时会持续循环判断，属于忙等，浪费CPU资源，同时影响消费者的处理效率。
• 竞态条件：判断队列空之后，生产者可能刚Put了帧，但消费者已经跳过了本次循环，导致帧不能被及时取出，进一步加剧队列满的情况。

3. 非阻塞方式的解决逻辑 #

• 生产者用put(block=False)：当队列满时直接抛出Full异常（代码中未捕获，意味着直接跳过当前帧的写入），保证生产者线程不会被卡住，能继续采集下一帧，避免卡顿和相机缓冲区溢出。
• 消费者用get(block=False)+捕获Empty异常后短暂休眠：队列空时不会忙等，而是释放CPU资源短暂休眠，既减少资源浪费，又能在队列有帧时及时取出处理，避免竞态条件导致的帧遗漏。这种方式让两个线程的调度更顺畅，不会出现一方被完全阻塞的情况。

内容的提问来源于stack exchange，提问作者肉蛋充肌