Python中绘制300万量级大规模数据的简便方法

300万元素的量级完全不需要上重型大数据可视化栈，按迁移成本从低到高可选方案如下：

常规Matplotlib卡慢本质是默认配置为了精细渲染小数据做了很多冗余设置，改几个参数就能流畅渲染300万级数据，完全不需要换库：

• 开启路径自动简化：绘图前先执行以下配置，把路径简化阈值拉满，渲染时自动合并重叠的路径段，视觉效果几乎无损失，速度提升10倍以上：

import matplotlib
matplotlib.rcParams['path.simplify'] = True
matplotlib.rcParams['path.simplify_threshold'] = 1.0

• 选对渲染API：不要用plt.scatter画大规模散点，scatter会为每个点生成独立的渲染对象，300万个对象会直接占满内存；用plt.plot加marker参数实现散点效果，它会把所有点作为单条路径渲染，速度差两个数量级。
• 非交互场景切Agg后端：如果只是出静态图，执行matplotlib.use('Agg')关掉GUI事件循环，出图速度还能再提30%。

实测普通办公本上，用以上配置渲染300万元素的折线/散点图，全程耗时不超过2秒，出图清晰度满足绝大多数期刊、报告的使用要求。

最小可运行示例：

import matplotlib
matplotlib.use('Agg')
import matplotlib.pyplot as plt
matplotlib.rcParams['path.simplify'] = True
matplotlib.rcParams['path.simplify_threshold'] = 1.0

# 300万元素测试数据
data = list(range(3_000_000))
plt.figure(figsize=(12, 4))
plt.plot(data, linewidth=0.5, marker='.', markersize=1)
plt.savefig("3m_point_plot.png", dpi=150)

如果需要做缩放、拖拽、实时刷新这类交互操作，优化后的Matplotlib还是不够流畅，可以选以下专门适配大规模数据的Python库，大多和Matplotlib API逻辑接近，学习成本很低：

• Datashader：面向亿级以下数据的栅格化渲染库，核心逻辑是先把数据按出图分辨率栅格化成位图再渲染，渲染速度不会随数据量上涨明显下降，300万点属于极小负载，支持和Matplotlib、Bokeh无缝拼接，画散点、折线、热力图、地理数据图都很方便，不需要手动做降采样。
• Plotly WebGL后端：普通Plotly用SVG渲染，点量过万就会卡，绘图时指定render_mode='webgl'即可调用GPU做硬件加速，300万点下拖拽、缩放操作全程流畅，API和普通Plotly完全一致，适合做交互式分析报告。
• PyQtGraph：基于Qt框架和OpenGL实现的科学绘图库，渲染速度比Matplotlib快10-100倍，天生支持百万级以上数据的实时交互刷新，适合做带GUI的数据工具、实时数据监测类场景。
• Vaex：如果300万数据还需要配套做清洗、统计、聚合计算，可以直接用Vaex做全流程处理，它自带的绘图接口采用惰性计算+栅格化渲染，从数据加载到出图全程不占过量内存，后续数据量涨到上亿也不用换方案。

人眼对图像的分辨率识别上限是有限的，哪怕是4K屏幕横向也只有不到4000个像素，300万个点挤在同一张图上99%的点都是互相重叠的，全量渲染本身没有意义：

• 静态出图场景：用LTTB（最大三角形三桶）算法做保形降采样，把300万点压缩到1000-2000个点即可，能完整保留原始数据的趋势、极值、拐点特征，和全量渲染的图视觉上没有任何差别，直接用lttbc库一行代码就能完成处理，也可以用Pandas的resample接口做时间序列的降采样。
• 交互场景：做动态视窗降采样，每次缩放、拖拽时只渲染当前视窗范围内匹配屏幕分辨率的点数，不管原始数据量多大都能保持60帧的流畅度。

内容的提问来源于stack exchange，提问作者Ayush