如何从线程队列对接多进程绘制实时图并保持窗口响应？

1. 为什么time.sleep会导致绘图窗口无响应 #

核心原因是你的绘图函数中使用了阻塞式的队列读取方法qq.get()：当live_df函数进入sleep阶段时，队列中没有新数据，qq.get()会一直暂停等待，这期间绘图进程的线程完全被阻塞，无法处理Windows系统发给绘图窗口的各类交互事件（拖动、缩放、点击等），视觉上就表现为窗口无响应，直到新数据进入队列才会恢复响应。

2. 现有实现的效率问题&需要调整的点 #

你的方案逻辑是通顺的，但存在几个明显的效率和规范问题：

• 每次向队列传入全量Dataframe，数据量增大后跨进程序列化/反序列化的开销会显著升高
• 每次调用ax.plot()都是新增一条曲线，而不是更新原有曲线的数据，随着迭代次数增加，画布需要渲染的元素越来越多，帧率会快速下降
• 阻塞式队列读取完全挤占了绘图事件循环的运行时间，窗口交互始终卡顿
• 全局变量q的使用不规范，Windows多进程场景下容易出现变量未定义的报错
• 你使用的df.append方法在pandas 2.0+版本已被废弃，兼容性差

3. 优化后的实现方案 #

3.1 基于原有多进程逻辑的修改版 #

核心优化点：非阻塞读队列、更新现有曲线而非重复绘制、规范参数传递、替换废弃方法

import threading
import time
from multiprocessing import Process, Queue
import pandas as pd
from matplotlib import pyplot as plt

print("Starting")

def live_df(q: Queue):
    # 初始化Dataframe
    df = pd.DataFrame({"demo": range(10)})
    q.put(df)
    for n in range(10, 20):
        # 替换废弃的append为concat
        df = pd.concat([df, pd.DataFrame([{"demo": n}])], ignore_index=True)
        q.put(df)
        time.sleep(5)
        print("DataFrame Updated:", n)


def live_graph(qq: Queue):
    plt.ion()
    fig = plt.figure()
    ax = fig.add_subplot(111)
    # 初始化曲线对象，后续只更新数据不新建曲线
    line, = ax.plot([])
    ax.set_ylim(0, 25) # 提前固定Y轴范围避免每次重算
    
    while True:
        try:
            # 非阻塞读队列，超时100ms，给事件循环留处理时间
            data = qq.get(block=True, timeout=0.1)
            # 更新曲线数据
            line.set_data(data.index, data['demo'])
            # 自动调整X轴范围
            ax.relim()
            ax.autoscale_view(scalex=True, scaley=False)
            fig.canvas.draw()
        except:
            # 队列空的时候正常处理事件循环
            pass
        # 刷新事件，响应窗口交互
        fig.canvas.flush_events()
        # 加个小延迟降低CPU占用
        time.sleep(0.01)


if __name__ == '__main__':
    q = Queue()
    # 把队列当参数传入线程，不使用全局变量
    threading.Thread(target=live_df, args=(q,), daemon=True).start()
    p = Process(target=live_graph, args=(q,))
    p.start()
    p.join()

3.2 更高效的FuncAnimation实现（无需多进程） #

如果你不需要把绘图逻辑隔离到独立进程，用FuncAnimation配合子线程更新数据的方案更简单，效率也更高，不会出现窗口卡顿问题：

import threading
import time
import pandas as pd
from matplotlib import pyplot as plt
from matplotlib.animation import FuncAnimation

print("Starting")
df = pd.DataFrame({"demo": range(10)})
lock = threading.Lock() # 加锁避免读写冲突

def live_df():
    global df
    for n in range(10, 20):
        time.sleep(5)
        with lock:
            df = pd.concat([df, pd.DataFrame([{"demo": n}])], ignore_index=True)
        print("DataFrame Updated:", n)

# 初始化画布
fig = plt.figure()
ax = fig.add_subplot(111)
line, = ax.plot(df.index, df['demo'])
ax.set_ylim(0, 25)

# 动画更新函数
def update(frame):
    global df
    with lock:
        line.set_data(df.index, df['demo'])
    ax.relim()
    ax.autoscale_view(scalex=True, scaley=False)
    return line,

# 启动数据更新线程
threading.Thread(target=live_df, daemon=True).start()
# 启动动画，100ms刷新一次
ani = FuncAnimation(fig, update, interval=100, blit=True, cache_frame_data=False)
plt.show()

补充说明 #

如果必须保留多进程隔离的架构，优先选第一种优化方案；如果没有进程隔离的要求，第二种FuncAnimation的方案在Windows下的兼容性和流畅度都更好，也不需要处理跨进程数据传输的开销。

内容的提问来源于stack exchange，提问作者Suraj Shejal