You need to enable JavaScript to run this app. 树莓派4环境下Python获取PiCamera预览数据并输出到fb1的问题
优惠活动
大模型
产品
解决方案
定价
更多

树莓派4环境下Python获取PiCamera预览数据并输出到fb1的问题

问题核心根因

你当前的场景下,PiCamera的预览数据通过MMAL硬件渲染组件的叠加通路直接输出到显示控制器,在vc4-fkms-v3d配置下,这个通路完全绕开了/dev/fb0的用户态帧缓冲内存,由GPU直接完成图层合成后输出到物理屏幕。这也是为什么你通过memmap读fb0、用python-mss这类基于帧缓冲的截图工具,都只能拿到预览层下方的内容——预览根本就没写进fb0的内存里。
之前rpi-fbcp无法编译、拿不到dispmanx接口也是fkms模式的固有特性:fkms用开源的DRM/KMS驱动替换了老版闭源的dispmanx显示栈,所有基于老dispmanx API的工具都会失效。

可落地的实现方案

方案1:绕开屏幕合成层,直接从相机硬件通路取流

这是延迟最低、稳定性最高的实现方式,完全不需要抓屏幕上的预览叠加层:

  • 核心逻辑:不要调用start_preview()把相机流送到GPU的屏幕渲染组件,而是直接从相机的视频输出端口拿原始帧数据,转成fb1需要的格式后直接写入。
  • 之前MMAL报错no buffers available的原因:你之前的代码是在已经被屏幕渲染占用的预览缓冲池里抢资源,没有给自定义取流配置独立的硬件通路。只要开启use_video_port=True参数,走相机硬件的直出视频端口,就不会和屏幕预览的缓冲产生竞争。
  • 参考实现代码:
from picamera import PiCamera
import numpy as np

# 相机分辨率直接匹配fb1的尺寸,减少不必要的缩放开销
camera = PiCamera(resolution=(240, 240), framerate=30)
fb1 = np.memmap('/dev/fb1', dtype='uint8', mode='r+', shape=(240, 240, 2))

# 预分配内存接收帧数据
frame_buf = np.empty((240, 240, 3), dtype=np.uint8)

# 连续取流,全程不启动屏幕预览,不占用GPU叠加层资源
for frame in camera.capture_continuous(frame_buf, format='rgb', use_video_port=True):
    # 把RGB帧转成fb1需要的BGR565格式,直接写入帧缓冲
    fb1[:] = rgb_to_bgr565(frame)
  • 效果:延迟比原来的屏幕叠加预览低2-3帧,完全不会出现MMAL缓冲不足的报错,因为整个通路没有多余的合成环节。

方案2:从DRM/KMS合成端抓帧,获取包含预览层的完整画面

如果需要保留屏幕上的预览、鼠标等所有叠加层,不要依赖老的dispmanx接口,直接用fkms原生支持的KMS接口抓帧:

  • 核心逻辑:fkms驱动下,GPU的视频叠加层、fb0的帧缓冲层、光标层都会被映射为DRM设备的显示平面,你可以从显示控制器的最终合成输出端读回完整的画面——这个位置的帧已经包含了所有图层,自然能抓到PiCamera的预览内容。
  • 实现方式:通过用户态的DRM接口打开主显示设备节点,直接读取合成输出的帧缓冲数据,按照你之前的逻辑转成BGR565格式写入fb1即可。240*240尺寸的画面完全可以跑满30fps,性能足够。

方案3:避开无效的技术路径

  • 不要用py-videocore6硬读GPU内存找预览数据:fkms模式下视频叠加层的内存由驱动动态管理,没有固定的映射地址,硬读很容易触发内存访问错误,维护性极差。
  • 不要回头尝试适配老的dispmanx接口:fkms没有提供完全的dispmanx兼容层,就算把rpi-fbcp编译过了,也拿不到真实的合成帧,投入产出比极低。

内容的提问来源于stack exchange,提问作者Mouse

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.20 15:24:00