MediaPipe Android面部关键点提取：能否禁用帧时间间隔直接读取视频属性？

核心结论 #

MediaPipe Android端无法直接“禁用”帧间时间间隔的指定，但可以通过主动读取视频文件的真实帧时间信息，模拟桌面Python版的自动处理逻辑，确保同一视频在两端的处理帧数和关键点结果一致。

原因解析 #

桌面Python版MediaPipe在处理本地视频时，底层会自动调用系统视频解码接口获取每帧的原生时间戳，无需开发者手动指定；而Android端的MediaPipe任务API（如FaceLandmarker）的VIDEO模式，默认针对摄像头流式输入设计，要求开发者传入帧的时间戳，以此维持跟踪逻辑的连续性。

具体实现步骤 #

1. 获取视频真实帧间隔/时间戳
   使用Android系统提供的MediaMetadataRetriever工具读取视频的帧率或每帧时间戳：

   • 对于固定帧率（CFR）视频，直接提取帧率并计算帧间隔：

     val retriever = MediaMetadataRetriever()
     retriever.setDataSource(videoFilePath)
     // 获取视频帧率
     val fps = retriever.extractMetadata(MediaMetadataRetriever.METADATA_KEY_CAPTURE_FPS)?.toFloat() ?: 30f
     // 计算帧间隔（单位：毫秒）
     val frameIntervalMs = (1000 / fps).toLong()
     retriever.release()
     

   • 对于可变帧率（VFR）视频，可通过总时长和帧数量计算平均帧间隔：

     val retriever = MediaMetadataRetriever()
     retriever.setDataSource(videoFilePath)
     val durationMs = retriever.extractMetadata(MediaMetadataRetriever.METADATA_KEY_DURATION)?.toLong() ?: 0L
     val frameCount = retriever.extractMetadata(MediaMetadataRetriever.METADATA_KEY_VIDEO_FRAME_COUNT)?.toInt() ?: 0
     val frameIntervalMs = if (frameCount > 0) durationMs / frameCount else 33L
     retriever.release()
     

2. 逐帧传入时间戳处理
   读取视频每一帧时，维护一个累计时间戳，将其传入detectForVideo方法：

   var currentTimestampMs = 0L
   val faceLandmarker = FaceLandmarker.createFromFile(context, "face_landmarker.task")
   
   // 假设这里是逐帧读取视频的逻辑（如用MediaCodec或第三方库）
   while (hasNextFrame()) {
       val frameBitmap = getNextFrameBitmap()
       val result = faceLandmarker.detectForVideo(frameBitmap, currentTimestampMs)
       // 处理检测结果
       currentTimestampMs += frameIntervalMs
       frameBitmap.recycle()
   }
   faceLandmarker.close()
   

关键注意点 #

• 不要使用近似帧率（如29FPS替代30FPS），视频的实际帧间隔可能存在小数或浮动，只有基于真实时间戳才能保证MediaPipe的跟踪算法逻辑与桌面端完全对齐。
• 若使用第三方视频解码库（如FFmpeg），可直接从解码后的帧中获取原生时间戳，传入MediaPipe即可，无需自行计算。

内容的提问来源于stack exchange，提问作者Félix Yriarte