如何同时实现Matplotlib与Open3D的交互式可视化？

我需要同时可视化3D点云和2D图像的两个界面，分别基于tkinter+Matplotlib和Open3D实现，单独或依次运行都没问题。为了方便对比同一数据集，希望让两个界面并排显示。尝试用线程实现但失败了，简化示例代码如下：

import threading
import numpy as np
import matplotlib.pyplot as plt
import open3d as o3d


# 绘制随机2D数据
def plot_random_2d():
    plt.ion()  # 开启交互模式
    fig, ax = plt.subplots()
    x = np.random.rand(100)
    y = np.random.rand(100)
    ax.scatter(x, y)
    ax.set_title("Random 2D Data")
    plt.show()


# 绘制随机3D点云
def plot_random_3d():
    pcd = o3d.geometry.PointCloud()
    points = np.random.rand(100, 3)
    pcd.points = o3d.utility.Vector3dVector(points)
    vis = o3d.visualization.Visualizer()
    vis.create_window()
    vis.add_geometry(pcd)
    vis.run()
    vis.destroy_window()


# 尝试用线程同时运行两个可视化
def main():
    thread_2d = threading.Thread(target=plot_random_2d)
    thread_3d = threading.Thread(target=plot_random_3d)

    thread_2d.start()
    thread_3d.start()

    thread_2d.join()
    thread_3d.join()


if __name__ == "__main__":
    main()

依赖安装命令：pip install matplotlib numpy open3d

注意：最终应用中两个可视化界面均需支持交互，因此解决方案需满足该要求。

现有方法有没有可行思路？还是需要完全更换库？（我考虑过Plotly，但不确定其对2D/3D点选的支持程度，且其点云可视化似乎较慢）

可行解决思路 #

1. 使用多进程替代多线程 #

Matplotlib和Open3D的GUI都依赖主线程的事件循环，Python线程的GIL限制会导致跨线程GUI操作冲突。改用multiprocessing可以让两个可视化进程拥有独立的事件循环，互不干扰：

import multiprocessing
import numpy as np
import matplotlib.pyplot as plt
import open3d as o3d

def plot_random_2d():
    plt.ion()
    fig, ax = plt.subplots()
    ax.scatter(np.random.rand(100), np.random.rand(100))
    ax.set_title("Random 2D Data")
    plt.show(block=True)

def plot_random_3d():
    pcd = o3d.geometry.PointCloud()
    pcd.points = o3d.utility.Vector3dVector(np.random.rand(100,3))
    vis = o3d.visualization.Visualizer()
    vis.create_window()
    vis.add_geometry(pcd)
    vis.run()
    vis.destroy_window()

def main():
    proc_2d = multiprocessing.Process(target=plot_random_2d)
    proc_3d = multiprocessing.Process(target=plot_random_3d)

    proc_2d.start()
    proc_3d.start()

    proc_2d.join()
    proc_3d.join()

if __name__ == "__main__":
    main()

两个窗口会独立运行，支持完整交互，用户可以手动拖动窗口并排显示。如果需要同步两个界面的数据（比如点选3D点后更新2D图像），可以用multiprocessing.Queue或Pipe实现进程间通信。

2. 将Matplotlib嵌入Open3D窗口（分屏显示） #

Open3D支持结合tkinter自定义GUI，可直接把Matplotlib画布嵌入到Open3D的可视化窗口中，实现同一窗口内的2D/3D分屏：

import numpy as np
import matplotlib.pyplot as plt
from matplotlib.backends.backend_tkagg import FigureCanvasTkAgg
import open3d as o3d
import tkinter as tk

def combined_visualization():
    # 初始化Open3D可视化窗口
    vis = o3d.visualization.Visualizer()
    vis.create_window(window_name="2D+3D 对比可视化", width=1200, height=600)
    
    # 添加3D点云
    pcd = o3d.geometry.PointCloud()
    pcd.points = o3d.utility.Vector3dVector(np.random.rand(100,3))
    vis.add_geometry(pcd)

    # 获取Open3D的tkinter窗口对象
    tk_win = vis.get_window().tk_window

    # 创建Matplotlib画布并嵌入右侧
    fig, ax = plt.subplots(figsize=(6,5), dpi=100)
    ax.scatter(np.random.rand(100), np.random.rand(100))
    ax.set_title("2D 图像")
    canvas = FigureCanvasTkAgg(fig, master=tk_win)
    canvas.draw()
    canvas.get_tk_widget().place(x=600, y=0, width=600, height=600)

    # 运行Open3D事件循环
    vis.run()
    vis.destroy_window()

if __name__ == "__main__":
    combined_visualization()

这种方式无需切换窗口，还能方便实现交互同步（比如点选3D点后实时更新2D图像的标记）。

3. 线程方案的优化（不推荐） #

如果坚持用线程，需要手动维护Matplotlib的事件循环，避免主线程阻塞：

import threading
import numpy as np
import matplotlib.pyplot as plt
import open3d as o3d

def plot_random_2d():
    plt.ion()
    fig, ax = plt.subplots()
    ax.scatter(np.random.rand(100), np.random.rand(100))
    ax.set_title("Random 2D Data")
    plt.show(block=False)
    # 手动循环处理Matplotlib事件
    while plt.get_fignums():
        plt.pause(0.1)

def plot_random_3d():
    pcd = o3d.geometry.PointCloud()
    pcd.points = o3d.utility.Vector3dVector(np.random.rand(100,3))
    vis = o3d.visualization.Visualizer()
    vis.create_window()
    vis.add_geometry(pcd)
    vis.run()
    vis.destroy_window()

def main():
    thread_2d = threading.Thread(target=plot_random_2d)
    thread_3d = threading.Thread(target=plot_random_3d)

    thread_2d.start()
    thread_3d.start()

    thread_3d.join()  # 等待Open3D窗口关闭
    plt.close('all')  # 关闭Matplotlib窗口
    thread_2d.join()

if __name__ == "__main__":
    main()

但这种方案可能出现GUI响应卡顿，稳定性不如多进程或嵌入方案。

关于换库的建议 #

Plotly的交互能力较强，但点云可视化性能远不如Open3D，且本地使用需要启动Web服务，流畅度不如原生GUI。如果你的核心需求是高性能点云交互+2D图像对比，不建议更换库，采用上述多进程或嵌入方案更合适。

内容的提问来源于stack exchange，提问作者Valeria