树莓派摄像头FFmpeg输出YUV流至stdout，如何识别帧边界？

首先，你遇到的核心问题很明确：你用了-f nut -让FFmpeg输出nut容器格式的流，而不是纯原始YUV像素数据。nut作为容器，会在字节流里插入头部标识、帧元数据（比如帧长度、时间戳）等非像素信息，这些数据被你当成YUV像素处理时，自然会导致图像偏移、噪点——前面的容器数据被误解析成了图像开头的像素，后面的帧也跟着错位了。

下面给你几个最直接的解决方案，按推荐程度排序：

方案1：直接输出纯Raw YUV到stdout（最推荐） #

放弃nut容器，让FFmpeg直接输出无封装的YUV420p像素数据，这样字节流里全是像素信息，没有任何额外元数据，你可以直接按帧大小读取解析。

调整后的FFmpeg命令：

ffmpeg -i xxx.h264 -vcodec rawvideo -r 2 -pix_fmt yuv420p -f rawvideo -

关键是把-f nut改成-f rawvideo，这样输出的就是纯YUV数据流。

接下来你需要：

• 确定摄像头输出的分辨率（比如常见的1280x720、1920x1080），计算每帧的字节数：YUV420p的帧大小 = 宽度 × 高度 × 3/2。例如1920x1080的话，就是192010801.5 = 3110400字节。
• 在Java代码里，每次从stdout读取对应字节数的数组，就是完整的一帧YUV数据，然后按照你之前参考的YUV转RGB方法处理即可，不会再有偏移和噪点。

方案2：跳过nut容器的头部，解析帧边界（不推荐，复杂） #

如果你坚持要用nut容器（比如需要同步时间戳等元数据），那得手动解析nut的容器结构。虽然官方文档不够友好，但可以参考FFmpeg源码里的nutdec.c（nut解码器实现）来理解帧的封装格式：

• nut的开头有固定的标识字符串（就是你看到的"nut/multimedia container..."），你可以先读取并跳过这段头部。
• 之后每个帧都会有一个帧头，包含帧长度等信息，你需要解析这个帧头，读取对应长度的字节作为一帧图像数据。

不过这个方法需要你深入理解nut的封装细节，实现起来比较繁琐，远不如方案1直接高效。

方案3：直接用raspivid输出YUV流（减少中转） #

其实你可以跳过FFmpeg中转，让raspivid直接输出YUV格式的流到stdout，这样更高效：

raspivid -t 0 -w 1920 -h 1080 -fps 2 -pf baseline -o -

这个命令会直接输出YUV420p的原始数据流，你同样按帧大小读取解析即可，省掉了FFmpeg转码的环节。

总结 #

最快速解决你当前问题的方法就是把FFmpeg命令改成输出rawvideo格式，这样拿到的就是纯像素数据，直接按分辨率计算的帧大小读取，就能正确解析每帧图像，不会再有偏移和噪点问题。

内容的提问来源于stack exchange，提问作者Petr