.NET Framework 4.8下C#逐帧读取MKV(H264)视频的替代方案

需要逐帧读取MKV格式（H264编码、分辨率1280x720）的视频文件以开展视频处理，但受依赖限制只能使用.NET Framework 4.8。尝试使用Accord.net的VideoFileReader时遇到如下错误：

[matroska,webm @ 0000024eb36e5c00] Could not find codec parameters for stream 0 (Video: h264, none(progressive), 1280x720): unspecified pixel format
Consider increasing the value for the 'analyzeduration' and 'probesize' options
Assertion desc failed at src/libswscale/swscale_internal.h:674

Accord.NET无法对FFmpeg请求进行过多控制且已停止维护，同时FFmpeg.NET和MediaToolkit均不支持直接获取帧位图，需寻找替代方案实现逐帧读取目标MKV文件。

1. 直接调用FFmpeg命令行转码后处理 #

通过FFmpeg命令行将MKV视频逐帧导出为图片序列（如PNG或BMP），再在.NET中读取这些图片进行处理。示例命令：

ffmpeg -i input.mkv -vf "fps=30" -q:v 2 frames/frame_%04d.png

• 优点：无需复杂.NET库依赖，利用FFmpeg原生能力，兼容性强
• 注意：需处理磁盘IO开销，可指定输出目录、帧速率，处理完成后可按需清理临时文件

2. 使用FFmpeg.AutoGen库 #

FFmpeg.AutoGen是.NET对FFmpeg原生API的绑定库，支持.NET Framework 4.8，能直接控制FFmpeg所有参数（包括analyzeduration和probesize），实现逐帧解码：

• 核心步骤：
  • 引入FFmpeg.AutoGen NuGet包（需匹配本地FFmpeg版本）
  • 初始化FFmpeg环境，设置analyzeduration和probesize参数
  • 打开视频流、查找视频轨道、初始化解码器
  • 循环读取数据包，解码为帧后转换为.NET Bitmap对象
• 优势：完全自定义FFmpeg参数，解决Accord.NET的参数限制问题，直接在内存中处理帧，无需临时文件

3. 使用Emgu CV库 #

Emgu CV是.NET封装的OpenCV库，支持.NET Framework 4.8，可通过VideoCapture类读取MKV视频帧：

• 实现思路：
  • 安装包含FFmpeg组件的Emgu CV NuGet包
  • 初始化VideoCapture对象并指定输入文件路径
  • 循环调用Read方法获取Mat对象，再转换为Bitmap
• 注意：需确保Emgu CV配套的FFmpeg库支持MKV和H264编码，可手动指定FFmpeg路径或配置环境变量

4. 自定义封装FFmpeg原生API #

如果上述库不符合需求，可直接基于FFmpeg的C API进行P/Invoke调用，完全自主控制解码流程：

• 核心步骤：
  • 加载FFmpeg的dll文件（如avformat-58.dll、avcodec-58.dll等）
  • 调用avformat_open_input、avformat_find_stream_info等函数，设置analyzeduration和probesize
  • 解码数据包为原始帧，转换像素格式为BGR/RGB后映射为.NET Bitmap
• 适合极致定制化场景，但开发成本较高

内容的提问来源于stack exchange，提问作者Brendan Hill