如何使用Matplotlib基于RGBA数据创建彩色3D体绘制图

我想使用Matplotlib（或其他合适的替代工具）基于RGBA颜色创建类似下图的3D图：

核心实现思路如下：

• 拥有一套数据集，R、G、B通道各自关联对应的alpha值：当R=0时红色通道完全透明，R=1时红色通道完全不透明。
• 将生成的RGB通道叠加得到最终图像，就像现实中投影仪生成图像的原理，只不过是在3D空间中实现。2D场景下我可以用pyplot.imshow实现该效果，但3D场景下如何实现同等功能？

以下是和我真实数据结构相似的示例数据：

import numpy as np
x = y = z = np.linspace(-3, 3, 200)
xx, yy, zz = np.meshgrid(x, y, z, indexing='ij')
gauss = np.exp(-(xx**2+yy**2+zz**2)/2)
red = np.sin((xx+yy) * np.pi)**2 * gauss
green = np.cos((yy+zz) * np.pi)**2 * gauss
blue = np.sin((xx+zz+0.25) * np.pi)**2 * gauss

如果是2D场景，我会用如下方式实现，理想状态下颜色会相互混合而不是互相覆盖。

import matplotlib.pyplot as plt
# 创建RGB通道并将对应值作为alpha通道
red2, green2, blue2 = red[100], green[100], blue[100]
R = np.broadcast_to([1.0, 0, 0], (*red2.shape, 3))
G = np.broadcast_to([0, 1.0, 0], (*green2.shape, 3))
B = np.broadcast_to([0, 0, 1.0], (*blue2.shape, 3))
r = np.insert(R, 3, red2, axis=-1)
g = np.insert(G, 3, green2, axis=-1)
b = np.insert(B, 3, blue2, axis=-1)

# 绘图
plt.imshow(r, aspect='auto', origin='lower', extent=(-3,3,-3,3))
plt.imshow(g, aspect='auto', origin='lower', extent=(-3,3,-3,3))
plt.imshow(b, aspect='auto', origin='lower', extent=(-3,3,-3,3))
plt.gca().set_facecolor('black')
plt.show()

请问我如何在3D场景下实现类似效果？

实现方案 #

Matplotlib原生3D API对体渲染的支持比较有限，这里推荐两种可直接落地的实现路径：

方案1：用Matplotlib的voxels方法快速验证 #

如果对渲染质量要求不高，仅需要快速验证思路，可以直接用Matplotlib 3D轴的voxels接口，建议先过滤掉alpha过低的体素减少渲染压力：

import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D

# 合并RGBA通道，alpha取三个通道的最大值做阈值过滤
alpha_thresh = 0.05
rgba = np.zeros((*red.shape, 4))
rgba[..., 0] = red
rgba[..., 1] = green
rgba[..., 2] = blue
rgba[..., 3] = np.max([red, green, blue], axis=0)
# 过滤几乎透明的体素，大幅提升渲染速度
mask = rgba[..., 3] > alpha_thresh

fig = plt.figure(figsize=(10,10))
ax = fig.add_subplot(111, projection='3d')
ax.voxels(mask, facecolors=rgba[mask], edgecolor='none')
# 背景设置为黑色匹配参考效果
ax.set_facecolor('black')
ax.xaxis.set_pane_color((0,0,0,0))
ax.yaxis.set_pane_color((0,0,0,0))
ax.zaxis.set_pane_color((0,0,0,0))
plt.show()

这个方案的缺点是体素边缘会有明显锯齿，颜色混合效果一般，仅适合快速试错。

方案2：用vispy实现高质量体渲染 #

如果需要更自然的颜色混合和流畅的交互体验，推荐使用专门做高性能可视化的vispy库，它原生支持3D体数据的RGBA混合渲染，效果更接近你给出的参考图：

from vispy import app
from vispy.scene import SceneCanvas, visuals

# 合并RGBA数据，数据类型转为float32适配vispy要求
rgba = np.stack([red, green, blue, np.max([red, green, blue], axis=0)], axis=-1).astype(np.float32)

# 创建画布，背景设为黑色
canvas = SceneCanvas(keys='interactive', size=(800, 800), show=True, bgcolor='black')
view = canvas.central_widget.add_view()
# 使用转盘相机，支持鼠标拖拽旋转、滚轮缩放
view.camera = 'turntable'

# 创建体渲染对象，使用半透明混合模式
volume = visuals.Volume(rgba, clim=(0, 1), method='translucent')
view.add(volume)

app.run()

内容的提问来源于stack exchange，提问作者Neinstein