如何用Pipe从视频提取帧并每秒读取？Android实现问题求助

兄弟，你的这个思路完全没问题！用Pipe实现FFmpeg边输出帧边读取处理，确实能绕开中间文件的IO开销，大幅提升帧提取的性能，非常适合Android这种资源有限的环境。不过你的代码里new FileInputStream(pipe)卡住，是因为没搞清楚Pipe的阻塞特性和执行顺序，我给你拆解一下问题和解决办法：

一、为什么代码会卡住？ #

Pipe是双向阻塞的IPC机制，只有当读写两端都准备就绪时，数据才能正常流动。你现在的逻辑是先启动FFmpeg写Pipe，再尝试打开读流：

• FFmpeg启动需要时间，可能还没开始往Pipe里写数据，你的读取线程就先去打开Pipe了，这时候FileInputStream会一直阻塞，等待写入端的连接。
• 另外，你没指定FFmpeg输出的视频格式，默认的image2pipe输出可能不是Raw格式，后续读取也会出问题，但当前卡住的核心原因还是读写顺序搞反了。

二、修正后的实现步骤 #

1. 先开读端，再启动FFmpeg写数据 #

必须保证读取端先准备好，等着FFmpeg送数据，而不是反过来。调整代码顺序：

// 1. 先注册Pipe并打开读取流（提前准备好读端）
String pipe = Config.registerNewFFmpegPipe(context);
BufferedInputStream fileInputStream = new BufferedInputStream(new FileInputStream(pipe));

// 2. 单独线程启动FFmpeg，往Pipe里写帧
new Thread(() -> {
    // 关键：指定输出为Raw视频格式，Bitmap才能直接解析
    String cmd = "ffmpeg -y -i rtsp://wowzaec2demo.streamlock.net/vod/mp4:BigBuckBunny_115k.mov -f image2pipe -r 1 -vcodec rawvideo -pix_fmt rgb24 " + pipe;
    // 建议用带回调的execute，方便排查FFmpeg执行错误
    FFmpeg.execute(cmd, new ExecuteCallback() {
        @Override
        public void onSuccess() {
            // FFmpeg执行完成，关闭读流
            try {
                fileInputStream.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }

        @Override
        public void onFailure(String message) {
            Log.e("FFmpeg", "执行失败：" + message);
            try {
                fileInputStream.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    });
}).start();

// 3. 单独线程读取Pipe并转Bitmap
new Thread(() -> {
    try {
        // 根据你的1080x720分辨率，RGB24格式的帧大小是1080*720*3=2332800字节
        byte[] frameBuffer = new byte[1080 * 720 * 3];
        int bytesRead;
        while ((bytesRead = fileInputStream.read(frameBuffer)) != -1) {
            // 将Raw字节流转换成Bitmap
            Bitmap bitmap = BitmapFactory.decodeByteArray(frameBuffer, 0, bytesRead);
            // 注意：更新UI要切回主线程
            runOnUiThread(() -> {
                // 比如把Bitmap设置到ImageView
                // imageView.setImageBitmap(bitmap);
            });
            // 记得回收Bitmap避免内存泄漏
            if (bitmap != null && !bitmap.isRecycled()) {
                bitmap.recycle();
            }
        }
    } catch (IOException e) {
        e.printStackTrace();
    }
}).start();

2. 几个关键参数说明 #

• -vcodec rawvideo -pix_fmt rgb24：必须加！FFmpeg默认的image2pipe输出可能是压缩格式，Raw RGB24是Bitmap能直接解析的原始像素格式。
• 去掉-re参数：这个参数会让FFmpeg按视频原始帧率读取输入，如果你只是想快速提取帧，会拖慢速度；如果是要模拟实时流再保留。

三、额外注意事项 #

• 权限：确保App有INTERNET权限（访问RTSP流），如果Pipe存在外部存储，还要有读写权限。
• 内存：1080x720的Bitmap占内存不小，记得用完及时recycle()，避免OOM。
• 兼容性：如果Config.registerNewFFmpegPipe返回的是系统匿名Pipe，也可以试试Android原生的java.nio.channels.Pipe，它的阻塞处理更可控。

内容的提问来源于stack exchange，提问作者Kingfisher Phuoc