求mdat盒起始到首帧的偏移量：自制MP4解码器遇文本元数据问题

背景与问题 #

个人编程挑战项目：基于VB.NET + .NET Framework 4.8.1开发无外部依赖的WinForms MP4解码器，参考ISO 14496-12文档。
已实现功能：

• 读取MP4文件宽、高等属性
• 解析帧提取关键box：Chunk偏移（stco）、样本-Chunk映射（stsc）、样本大小（stsz）、时间-样本映射（stts）等

遇到核心问题：首个Chunk位置紧邻mdat盒起始处，但mdat开头为可读文本元数据而非图像帧数据，无法直接提取首帧，需获取mdat起始到首帧的偏移量。
尝试过的方案：

• 寻找0,0,1 NAL单元起始码，多个测试文件中均未找到
• 查阅网络资料、官方文档后仍无解决方案

已解析的box清单：

• 顶级box：ftyp、mdat、moov
• moov子box：mvhd、trak、tkhd、mdhd、hdlr、smhd、stsd、stts、stsc、stsz、stco
  未发现saio、meta等辅助偏移的非必需box

附尝试解决的代码：

Private Function Skip_text_metadata_and_find_first_frame() As Integer ' Thanks to VC.One, Stack Overflow; May 30, 2023.
        Dim tempPos As Integer = Me.Mdat_Start_pos
        tempPos += 4
        While (True)
            Dim tempNum As Integer = Get_lower_bits_of_a_byte(Me.Data(tempPos + 4), 5) ' NALU type
            If tempNum <> 5 Then ' 101b is key frame
                Dim size_NALU As UInteger = Me.Data(tempPos + 0) * 256UI * 256UI * 256UI +
                                            Me.Data(tempPos + 1) * 256UI * 256UI +
                                            Me.Data(tempPos + 2) * 256UI +
                                            Me.Data(tempPos + 3)
                tempPos += (CInt(size_NALU) + 4)
                If tempPos > (Me.Mdat_End - 4) Then
                    Return 0
                End If
            Else

                Return (tempPos - Me.Mdat_Start_pos)
                Exit While
            End If
        End While

        Return 0
    End Function

Private Shared Function Get_lower_bits_of_a_byte(value As Byte, bitNumber As Integer) As Integer
        Dim two_to_the_bitnumber_minus1 As Integer = CInt(Math.Pow(2, bitNumber)) - 1
        Return value And two_to_the_bitnumber_minus1
    End Function

问题排查与解决建议 #

1. 修正mdat数据起始位置判断 #

mdat盒的结构是4字节大小 + 4字节类型标识（'mdat'），因此实际数据起始位置是Mdat_Start_pos + 8，而非你代码中的+4——这是导致你找错NALU位置的核心原因。

2. 利用已解析的box直接计算首帧偏移 #

你已经解析了stsc、stco、stsz，无需盲目查找NALU，可通过规范的MP4结构计算首帧绝对偏移：

• 从stco获取第一个Chunk的文件级绝对偏移（注意：stco存储的偏移是相对于文件开头，不是mdat内部）
• 从stsc确认第一个Chunk包含的起始样本号（通常为1）和样本数
• 首帧样本在Chunk内的偏移为0，因此首帧的绝对偏移 = 第一个Chunk的绝对偏移
• 最终mdat内部偏移 = 首帧绝对偏移 - Mdat_Start_pos

3. 修正NALU查找逻辑 #

如果仍需通过NALU定位，调整代码如下：

Private Function Skip_text_metadata_and_find_first_frame() As Integer
    ' 跳过mdat的大小和类型字段，定位到实际数据起始
    Dim tempPos As Integer = Me.Mdat_Start_pos + 8
    If tempPos + 4 > Me.Mdat_End Then Return 0

    While True
        ' 读取4字节大端NALU长度（MP4用大端字节序）
        Dim sizeBytes() As Byte = {Me.Data(tempPos), Me.Data(tempPos+1), Me.Data(tempPos+2), Me.Data(tempPos+3)}
        Dim size_NALU As UInteger = BitConverter.ToUInt32(sizeBytes, 0)
        size_NALU = UInt32.NetworkToHostOrder(size_NALU) ' 转换为本地字节序

        ' 获取H.264 NALU类型（低5位）
        Dim naluType As Integer = Me.Data(tempPos + 4) And &H1F
        ' 类型5为IDR关键帧
        If naluType = 5 Then
            Return tempPos - Me.Mdat_Start_pos
        End If

        ' 移动到下一个NALU
        tempPos += CInt(size_NALU) + 4
        If tempPos + 4 > Me.Mdat_End Then Return 0
    End While
End Function

4. 验证编码格式与冗余数据 #

• 从stsd的编码信息确认视频是H.264还是H.265：H.265的NALU头为2字节，类型判断逻辑不同
• 对比mdat总数据大小与所有样本大小之和：若前者大于后者，差值即为冗余文本元数据的长度，可直接跳过该长度后提取帧

5. 手动验证定位 #

用十六进制编辑器（如HxD）打开MP4文件，对照stco的第一个Chunk偏移值，直接定位到该位置，查看是否为NALU的4字节长度前缀，快速验证解析逻辑的正确性。

内容的提问来源于stack exchange，提问作者Daniel