FFmpeg流模式下视频转多帧图片：如何拆分输出流中的多张图片？

你的核心问题是FFmpeg通过标准输出返回的是连续串联的图片文件字节流，直接复制到单个文件只会保留第一个可识别的图片，后续字节无法被解析。要拆分这些图片，需要基于图片格式的特征（比如文件头、文件尾）逐个提取独立的图片数据。

解决方案步骤 #

1. 调整FFmpeg参数：明确输出为JPEG格式（有清晰的起止标识，易拆分），修改Arguments为：

   "-y -i - -f image2 -vcodec mjpeg -"
   

2. 实现流拆分逻辑：读取输出流时，检测每个JPG的起始标识（0xFF 0xD8）和结束标识（0xFF 0xD9），提取两段标识之间的字节作为单个图片文件保存。

修改后的完整代码 #

public void VideoToImages2()
{
    var inputFile = @"D:\testVideo.avi";
    var outputDir = @"D:\outputImages\"; // 输出目录，提前创建好
    int imageIndex = 1;

    // 确保输出目录存在
    Directory.CreateDirectory(outputDir);

    var process = new Process
    {
        StartInfo = new ProcessStartInfo
        {
            RedirectStandardInput = true,
            RedirectStandardOutput = true,
            UseShellExecute = false,
            CreateNoWindow = true,
            Arguments = "-y -i - -f image2 -vcodec mjpeg -", // 指定输出JPEG流
            FileName = "ffmpeg.exe"
        },
        EnableRaisingEvents = true
    };

    process.Start();

    // 写入输入流（原逻辑不变）
    var inputTask = Task.Run(() =>
    {
        using (var input = new FileStream(inputFile, FileMode.Open))
        {
            input.CopyTo(process.StandardInput.BaseStream);
            process.StandardInput.Close(); // 关闭输入流，告诉FFmpeg输入完成
        }
    });

    // 读取并拆分输出流
    var outputTask = Task.Run(() =>
    {
        var stream = process.StandardOutput.BaseStream;
        List<byte> currentImageBytes = new List<byte>();
        bool isCapturingImage = false;
        byte[] buffer = new byte[4096];
        int bytesRead;

        while ((bytesRead = stream.Read(buffer, 0, buffer.Length)) > 0)
        {
            for (int i = 0; i < bytesRead; i++)
            {
                byte b = buffer[i];
                currentImageBytes.Add(b);

                // 检测JPG起始标识：FF D8
                if (!isCapturingImage && currentImageBytes.Count >= 2)
                {
                    int lastIdx = currentImageBytes.Count - 1;
                    if (currentImageBytes[lastIdx - 1] == 0xFF && currentImageBytes[lastIdx] == 0xD8)
                    {
                        isCapturingImage = true;
                        // 重置列表，只保留起始标识
                        currentImageBytes = new List<byte> { 0xFF, 0xD8 };
                    }
                }

                // 检测JPG结束标识：FF D9
                if (isCapturingImage && currentImageBytes.Count >= 2)
                {
                    int lastIdx = currentImageBytes.Count - 1;
                    if (currentImageBytes[lastIdx - 1] == 0xFF && currentImageBytes[lastIdx] == 0xD9)
                    {
                        // 保存当前图片
                        string outputPath = Path.Combine(outputDir, $"image{imageIndex:D3}.jpg");
                        File.WriteAllBytes(outputPath, currentImageBytes.ToArray());
                        imageIndex++;
                        isCapturingImage = false;
                        currentImageBytes.Clear();
                    }
                }
            }
        }
    });

    Task.WaitAll(inputTask, outputTask);
    process.WaitForExit();
}

关键说明 #

• JPG标识检测：JPEG文件以0xFF 0xD8开头，0xFF 0xD9结尾，通过这两个标识可以准确拆分每个独立的图片。
• 流读取逻辑：用缓冲区分批读取流，逐个字节检查标识，避免一次性加载大内存，适合处理长视频。
• 输出目录：提前创建输出目录，避免保存文件时出现路径不存在的错误。
• 参数调整：-vcodec mjpeg强制FFmpeg输出JPEG格式，确保流中每个图片都有标准的起止标识。

如果需要输出PNG格式，逻辑会更复杂（PNG没有明确的结束标识，需要解析IHDR块中的宽度高度计算文件大小），建议优先使用JPEG格式处理流拆分场景。

内容的提问来源于stack exchange，提问作者Stiven Diplet