Python 3 Multiprocessing Array初始化随机挂起问题

我之前在树莓派上移植Python2到Python3的视频处理代码时，也碰到过几乎一模一样的问题——多进程共享缓冲区随机挂起、丢帧。结合我的排查经验，给你几个针对性的解决方案：

Python2和Python3的multiprocessing模块在共享内存的锁机制、进程调度逻辑上有细微差异，再加上树莓派3的CPU和内存带宽有限，直接移植旧代码很容易触发竞态条件或资源瓶颈，导致缓冲区切换时挂起、丢帧。

1. 调整共享数组的锁策略 #

Python3的multiprocessing.Array默认会自动添加锁来保护访问，但在RPi3的低性能环境下，锁竞争会大幅拖慢速度甚至导致挂起。如果你的代码已经自己处理了缓冲区的同步逻辑，可以显式关闭默认锁：

from multiprocessing import Array

# 假设单帧是640x480的RGB数据，计算总缓冲区大小
frame_size = 640 * 480 * 3
buffer1 = Array('B', 256 * frame_size, lock=False)
buffer2 = Array('B', 256 * frame_size, lock=False)

⚠️ 注意：关闭默认锁后，必须用multiprocessing.Lock或Event严格控制读写缓冲区的时机，绝对不能让捕获和处理进程同时操作同一个缓冲区。

2. 重构缓冲区同步逻辑 #

你之前的“交替填充/处理”逻辑在Python2的调度机制下稳定，但Python3的进程调度优先级、上下文切换时机不同，容易出现状态判断错误。建议用Event来做明确的状态标记，避免竞态：

from multiprocessing import Process, Event

# 初始化事件：标记缓冲区是否就绪/处理完成
buffer1_ready = Event()
buffer2_ready = Event()
buffer1_processed = Event()
buffer2_processed = Event()

# 初始化时清空所有事件
for evt in [buffer1_ready, buffer2_ready, buffer1_processed, buffer2_processed]:
    evt.clear()

def capture_frames():
    current_buffer = buffer1
    current_ready_evt = buffer1_ready
    current_processed_evt = buffer1_processed
    while True:
        # 填充当前缓冲区的256帧
        for idx in range(256):
            frame = capture_single_frame()  # 替换为你的帧捕获函数
            current_buffer[idx*frame_size : (idx+1)*frame_size] = frame.tobytes()
        # 标记缓冲区就绪，等待处理完成
        current_ready_evt.set()
        current_processed_evt.wait()
        current_processed_evt.clear()
        # 切换到另一个缓冲区
        current_buffer = buffer2 if current_buffer is buffer1 else buffer1
        current_ready_evt = buffer2_ready if current_ready_evt is buffer1_ready else buffer1_ready
        current_processed_evt = buffer2_processed if current_processed_evt is buffer1_processed else buffer1_processed

def process_frames():
    current_buffer = buffer1
    current_ready_evt = buffer1_ready
    current_processed_evt = buffer1_processed
    while True:
        # 等待缓冲区就绪
        current_ready_evt.wait()
        current_ready_evt.clear()
        # 处理256帧
        for idx in range(256):
            frame_data = current_buffer[idx*frame_size : (idx+1)*frame_size]
            process_single_frame(frame_data)  # 替换为你的帧处理函数
        # 标记处理完成，通知捕获进程切换
        current_processed_evt.set()
        # 切换到另一个缓冲区
        current_buffer = buffer2 if current_buffer is buffer1 else buffer1
        current_ready_evt = buffer2_ready if current_ready_evt is buffer1_ready else buffer1_ready
        current_processed_evt = buffer2_processed if current_processed_evt is buffer1_processed else buffer1_processed

# 启动进程
p_capture = Process(target=capture_frames)
p_process = Process(target=process_frames)
p_capture.start()
p_process.start()

这种基于事件的同步逻辑比单纯靠共享变量标记状态更可靠，能适配Python3的进程调度特性。

3. 优化RPi3的资源占用 #

树莓派3的内存带宽和CPU性能有限，Python3的进程内存开销比Python2大，视频数据的频繁拷贝很容易成为瓶颈：

• 减少单帧数据量：改用YUV格式代替RGB，或降低分辨率，直接缩小缓冲区的总大小；
• 用内存映射替代共享数组：mmap比multiprocessing.Array更接近底层，减少Python层的内存管理开销：

  import mmap
  import os
  
  def create_shared_buffer(size):
      # 创建临时文件作为共享内存载体
      fd = os.open('/tmp/frame_buffer', os.O_CREAT | os.O_RDWR)
      os.ftruncate(fd, size)
      buffer = mmap.mmap(fd, size, mmap.MAP_SHARED, mmap.PROT_WRITE | mmap.PROT_READ)
      os.close(fd)
      return buffer
  

4. 定位挂起的具体原因 #

如果以上方法还没解决问题，可以用py-spy工具采样进程的调用栈，看看挂起时进程卡在哪个环节：

• 安装工具：pip install py-spy
• 运行你的程序后，在另一个终端执行：py-spy top --pid <你的进程PID>
  通过采样结果可以快速定位是卡在锁等待、内存拷贝还是视频捕获的底层调用上，进一步针对性优化。

内容的提问来源于stack exchange，提问作者D Vida