Python多进程运行无限循环函数时mp.Queue数据无法实时同步问题

multiprocessing.Queue本身是跨进程安全、支持实时通信的组件，你遇到的队列数据无法同步问题完全来自代码中的几个显性错误，和队列本身的机制无关：

• 函数参数不匹配：你定义func1(queue1, data)需要2个入参，但创建p1进程时args=(queue1,)仅传入1个参数，在Windows默认spawn启动模式下，p1会直接抛出参数缺失错误静默退出，根本不会执行循环向queue1写入数据。
• 主进程无保活逻辑：启动三个子进程后，主进程代码直接执行到文件末尾退出，会强制终止所有子进程，队列读写逻辑无法持续运行。
• 对get()方法的行为误解：queue.get()默认是永久阻塞模式，队列无数据时进程会挂起等待，数据到达后会被立刻唤醒取走，不存在“下一轮循环才感知变动”的延迟，等待过程无CPU空转开销，是最高效的队列读取方式。

适配高帧率摄像头采集场景，代码如下：

import multiprocessing as mp
import time

# 替换成你实际的摄像头读帧逻辑
def read_camera_frame():
    # 注意：摄像头初始化必须放在子进程内部完成，OpenCV的VideoCapture等硬件句柄无法跨进程传递
    time.sleep(0.001)  # 模拟1000fps采集速率
    return b"frame_binary_data"

def func1(queue1):
    while True:
        data = read_camera_frame()
        # 采集侧预处理逻辑
        if data:  # 替换成你的业务判断条件
            queue1.put(data)

def func2(queue1, queue2):
    while True:
        data = queue1.get()  # 阻塞等待数据，微秒级响应，无空转开销
        # 第一阶段数据处理逻辑
        processed_data = data + b"_func2_processed"
        if True:  # 替换成你的业务判断条件
            queue2.put(processed_data)

def func3(queue2):
    while True:
        data = queue2.get()
        # 最终处理逻辑：存储、推流、推理等
        # 调试阶段尽量不要用print，跨进程控制台同步会严重拖慢性能，建议写文件日志
        print(f"func3 got data, length: {len(data)}")

if __name__ == '__main__':
    mp.set_start_method('spawn')  # Windows下显式指定启动方式，避免兼容问题
    # 根据服务器内存和处理延迟容忍度设置队列最大长度，避免无限制缓存占满内存
    queue1 = mp.Queue(maxsize=2000)
    queue2 = mp.Queue(maxsize=2000)
    # 设置daemon=True，主进程退出时自动终止子进程，避免孤儿进程残留
    p1 = mp.Process(target=func1, args=(queue1,), daemon=True)
    p2 = mp.Process(target=func2, args=(queue1, queue2), daemon=True)
    p3 = mp.Process(target=func3, args=(queue2,), daemon=True)
    
    p1.start()
    p2.start()
    p3.start()

    # 主进程保活
    while True:
        time.sleep(1)

• 不要用get_nowait()加轮询的方式读取队列，这种方式会让CPU核心空转占满，反而会拖慢采集和处理速度导致丢帧，默认阻塞get()是事件驱动唤醒，延迟完全满足数千帧每秒的实时要求。
• 所有硬件相关的初始化（摄像头、显卡推理句柄、文件写入句柄等）必须放在对应子进程内部执行，这类对象不能跨进程传递，否则会出现不可预期的错误。
• 队列的maxsize不要设置过大，帧数据占用内存较高，建议根据单帧大小、处理链路最大延迟计算缓存上限，避免内存溢出。如果要求绝对不丢帧，不要用非阻塞put()，阻塞等待是最可靠的流控方式。
• 不要在业务循环里加无意义的sleep，会人为增加链路延迟；调试阶段减少跨进程print操作，控制台IO的锁竞争会大幅降低处理吞吐量。

内容的提问来源于stack exchange，提问作者user12794379