使用Media Foundation处理H264直播数据，如何确定完整IMFSample的大小？

核心问题：H264帧的边界判断，而非固定大小缓存 #

你遇到的问题本质是Socket接收的字节流未按H264的帧/NAL单元边界拆分，固定大小缓存只是临时凑活，无法精准匹配帧的实际长度，最后一帧自然会出现异常。Media Foundation的ProcessInput要求传入的IMFSample必须包含完整的H264 NAL单元序列（对应一帧或多个NAL组成的帧），否则解码器无法正确解析。

正确确定完整帧大小的方法 #

1. 识别H264的NAL单元边界 #

H264的NAL单元以0x00 0x00 0x01或0x00 0x00 0x00 0x01的起始码开头，这是拆分完整NAL的核心依据：

• 维护一个字节缓冲区，将每次Socket接收的数据追加进去
• 从缓冲区头部开始扫描起始码：
  • 找到第一个起始码后，继续往后查找下一个起始码的位置，两个起始码之间的内容即为一个完整的NAL单元
  • 如果缓冲区末尾未出现下一个起始码，说明剩余数据是不完整的NAL，需保留到下一次接收后继续处理

2. 组合NAL单元为完整帧 #

H264的帧可能由多个NAL单元组成（比如IDR帧包含多个Slice NAL），需通过NAL头判断单元类型：

• NAL类型5是IDR帧的起始NAL，后续NAL单元直到下一个IDR或非Slice NAL之前，都属于当前帧
• 普通帧（非IDR）的NAL类型通常为1，需收集到下一个帧的起始NAL为止，再封装为完整的IMFSample

3. 正确配置IMFSample属性 #

即使数据完整，若IMFSample的时间戳或H264相关属性未正确设置，也会导致画面异常：

• 调用IMFSample::SetSampleTime和SetSampleDuration设置帧的时间戳（可从直播流的RTP头或H264的PTS/DTS提取）
• 首帧或SPS/PPS更新时，给媒体类型设置MF_MT_H264_SPS和MF_MT_H264_PPS属性，确保解码器初始化正确

针对你按Simon Mourier代码仍出错的排查点 #

• 起始码扫描逻辑：是否漏掉了0x00 0x00 0x00 0x01的长起始码？部分流会混合使用两种起始码格式
• NAL完整性验证：拆分出的NAL单元长度是否符合H264规范（NAL头后的数据长度是否合理）
• 缓冲区处理：拆分完完整帧后，是否正确保留了缓冲区剩余的不完整数据，而非直接清空
• 解码器配置：初始化时是否正确设置媒体类型，比如将MF_MT_SUBTYPE设为MFVideoFormat_H264

关键逻辑代码示例 #

// 维护全局接收缓冲区
std::vector<BYTE> g_receiveBuffer;

void ProcessSocketData(const BYTE* data, DWORD dataSize)
{
    // 追加新数据到缓冲区
    g_receiveBuffer.insert(g_receiveBuffer.end(), data, data + dataSize);

    size_t startPos = 0;
    while (true)
    {
        // 查找下一个NAL起始码位置
        size_t nextStart = FindNalStart(g_receiveBuffer, startPos);
        if (nextStart == std::string::npos)
            break;

        if (startPos == 0)
        {
            // 跳过第一个起始码，从下一个位置开始计算NAL长度
            startPos = nextStart;
            continue;
        }

        // 提取完整NAL单元
        DWORD nalSize = static_cast<DWORD>(nextStart - startPos);
        const BYTE* nalData = g_receiveBuffer.data() + startPos;

        // 将NAL加入当前帧，判断是否组成完整帧后再调用ProcessInput
        AddNalToFrame(nalData, nalSize);

        startPos = nextStart;
    }

    // 保留缓冲区剩余的不完整数据
    if (startPos > 0 && startPos < g_receiveBuffer.size())
    {
        std::vector<BYTE> remaining(g_receiveBuffer.begin() + startPos, g_receiveBuffer.end());
        g_receiveBuffer.swap(remaining);
    }
    else
    {
        g_receiveBuffer.clear();
    }
}

// 查找NAL起始码的辅助函数
size_t FindNalStart(const std::vector<BYTE>& buffer, size_t startPos)
{
    for (size_t i = startPos; i < buffer.size() - 3; ++i)
    {
        if ((buffer[i] == 0 && buffer[i+1] == 0 && buffer[i+2] == 1) ||
            (buffer[i] == 0 && buffer[i+1] == 0 && buffer[i+2] == 0 && buffer[i+3] == 1))
        {
            return i;
        }
    }
    return std::string::npos;
}

内容的提问来源于stack exchange，提问作者user666