如何不对H.264进行完整解码即可从中提取运动向量

你的推测是成立的，运动向量属于H.264码流的语法层前置信息，不需要解码残差、重建像素就可以直接提取，以下是可落地的实现方向：

• 方案一：复用FFmpeg解码框架跳过冗余计算（落地成本最低）
  不需要完全脱离FFmpeg的现有接口，仅需配置解码器参数跳过和MV无关的解码步骤即可，实际运行性能接近纯码流解析：
  1. 初始化AVCodecContext时开启MV导出开关：av_opt_set(codec_ctx, "export_mvs", "1", 0)，同时配置跳过非必要解码流程：

     codec_ctx->skip_frame = AVDISCARD_NONREF; // 可根据需求调整，甚至跳过所有I帧
     codec_ctx->skip_loop_filter = AVDISCARD_ALL;
     codec_ctx->skip_idct = AVDISCARD_ALL;
     

  2. 调用avcodec_send_packet和avcodec_receive_frame正常解码，不需要处理输出的YUV帧数据，直接通过av_frame_get_side_data(frame, AV_FRAME_DATA_MOTION_VECTORS)获取MV数组即可。
     该方案下解码器仅解析NALU头、切片头、宏块层的MV相关语法元素，不会执行IDCT、残差叠加、环路滤波等耗时的像素重建操作，完全满足你不需要完整解码的需求。
• 方案二：独立实现H.264语法解析（可控性最高）
  完全自行解析码流的话，仅需按H.264标准分层筛选解析需要的字段即可：
  1. 先做NALU切分，保留SPS、PPS、P/B帧的切片NALU，跳过I帧、SEI、AU分隔符等无关数据
  2. 解析SPS/PPS获取图像宽高、宏块划分规则、参考帧队列配置等全局参数
  3. 解析切片头获取帧类型、参考帧索引等信息后，逐个解析宏块层语法，直接提取每个宏块/子宏块的运动向量值、参考帧编号，跳过所有残差系数、intra预测模式等无关字段即可，不需要做任何后续像素重建计算
• 方案三：复用FFmpeg内置H.264解析器（折中方案）
  可以直接裁剪FFmpeg的libavcodec/h264_parse.c模块逻辑，不需要走完整的解码流程，直接调用解析接口提取宏块层的MV数据，该模块本身是独立于解码流程的纯语法解析实现，仅需少量修改即可单独编译使用。

内容的提问来源于stack exchange，提问作者Gaurav