从命名管道读取FFmpeg字节提取NAL单元异常，WebRTP传输无画面

核心问题根源 #

1. FFmpeg输出格式错误：使用-f image2pipe完全错误，该格式用于输出单帧图像序列而非H264裸流，导致读取的内容根本不是预期的NAL单元流，这是提取异常的主要原因。
2. NAL单元提取逻辑缺陷：未处理跨buffer的起始码，且循环查找逻辑存在重复检测问题。
3. WebRTC发送逻辑缺失：未正确处理关键帧、RTP时间戳、Marker位及SDP协商参数。

步骤1：修正FFmpeg命令参数 #

将原命令中的-f image2pipe改为-f h264，若原视频已是H264编码，直接复制流而非重新编码（避免性能损耗和编码问题）：

-y -re -i input.mp4 -an -c:v copy -bsf:v h264_mp4toannexb -f h264 ffmpeg_rec_stream

参数说明： #

• -c:v copy：直接复制原视频流，跳过重新编码，确保输出原视频的H264数据（若原视频非H264，再改用libx264）。
• -bsf:v h264_mp4toannexb：将MP4中的AVCC格式转换为Annexb格式（带00 00 01/00 00 00 01起始码的NAL单元流）。
• -f h264：明确输出H264裸流格式，而非图像序列。

步骤2：修复NAL单元提取逻辑 #

关键改进点： #

• 保留上一个buffer的末尾3字节，用于检测跨buffer的NAL起始码。
• 修正查找循环的边界条件，避免遗漏起始码。
• 避免重复检测同一起始码。

修改后的代码：

// 类级别变量，保存上一个buffer的末尾字节
private byte[] _remainingBytes = new byte[3];
private int _remainingCount = 0;

private void OnOutputPipeConnected(IAsyncResult ar)
{
    try
    {
        mOutputPipe.EndWaitForConnection(ar);
        var buffer = new byte[65536];
        while (true)
        {
            int bytesRead = mOutputPipe.Read(buffer, 0, buffer.Length);
            if (bytesRead == 0) break;

            // 拼接剩余字节与当前buffer
            byte[] combinedBuffer = new byte[_remainingCount + bytesRead];
            if (_remainingCount > 0)
            {
                Buffer.BlockCopy(_remainingBytes, 0, combinedBuffer, 0, _remainingCount);
            }
            Buffer.BlockCopy(buffer, 0, combinedBuffer, _remainingCount, bytesRead);

            var nalUnitStarts = FindAllNalUnitIndexes(combinedBuffer, combinedBuffer.Length);
            // 处理所有完整的NAL单元
            for (int i = 0; i < nalUnitStarts.Count; i++)
            {
                int nalEndIndex = (i == nalUnitStarts.Count - 1) ? combinedBuffer.Length : nalUnitStarts[i + 1];
                int nalLength = nalEndIndex - nalUnitStarts[i];
                byte[] nalUnit = new byte[nalLength];
                Buffer.BlockCopy(combinedBuffer, nalUnitStarts[i], nalUnit, 0, nalLength);

                // 发送NAL单元到WebRTC
                SendNalUnitToWebRtc(nalUnit);
            }

            // 保存当前buffer的末尾3字节，用于下一次拼接
            _remainingCount = Math.Min(3, combinedBuffer.Length - (nalUnitStarts.Count > 0 ? nalUnitStarts.Last() : 0));
            if (_remainingCount > 0)
            {
                Buffer.BlockCopy(combinedBuffer, combinedBuffer.Length - _remainingCount, _remainingBytes, 0, _remainingCount);
            }
        }
    }
    catch (Exception e)
    {
        // 添加日志记录便于排查
    }
}

private static List<int> FindAllNalUnitIndexes(byte[] buffer, int length)
{
    var indexes = new List<int>();
    int i = 0;

    while (i <= length - 3)
    {
        int nalStart = FindNextNalUnit(buffer, i, length);
        if (nalStart == -1) break;

        indexes.Add(nalStart);
        // 跳过当前起始码，从NAL单元内容开始查找下一个
        i = nalStart + 1;
    }

    return indexes;
}

private static int FindNextNalUnit(byte[] buffer, int startIndex, int length)
{
    for (int i = startIndex; i <= length - 3; i++)
    {
        // 检测3字节起始码 00 00 01
        if (buffer[i] == 0 && buffer[i + 1] == 0 && buffer[i + 2] == 1)
        {
            return i + 3;
        }
        // 检测4字节起始码 00 00 00 01（仅当剩余长度足够时）
        else if (i <= length - 4 && buffer[i] == 0 && buffer[i + 1] == 0 && buffer[i + 2] == 0 && buffer[i + 3] == 1)
        {
            return i + 4;
        }
    }
    return -1;
}

步骤3：完善WebRTC发送逻辑 #

关键注意事项： #

1. 发送关键帧前置数据：必须先发送SPS和PPS，再发送IDR帧，否则接收端无法初始化解码器。
2. RTP时间戳管理：H264的RTP时钟频率为90000，按帧率计算每帧增量（如30fps则每帧加3000）。
3. Marker位设置：每个完整视频帧的最后一个NAL单元需将Marker位设为1。
4. SDP协商：确保SDP中包含正确的H264参数，示例SDP片段：

   m=video 9 UDP/TLS/RTP/SAVPF 96
   a=rtpmap:96 H264/90000
   a=fmtp:96 level-asymmetry-allowed=1;packetization-mode=1;profile-level-id=42e01f
   a=sprop-parameter-sets=Z0LAH9kBQHsg,aM48gA==
   

修改后的发送方法示例：

// 类级别变量，管理RTP时间戳
private uint _rtpTimestamp = 0;
private const int RTP_CLOCK_RATE = 90000;
private const int FRAME_RATE = 30;
private int _frameInterval = RTP_CLOCK_RATE / FRAME_RATE;

private void SendNalUnitToWebRtc(byte[] nalUnit)
{
    if (nalUnit.Length == 0) return;

    byte nalType = (byte)(nalUnit[0] & 0x1F);
    bool isLastNalOfFrame = false;

    // 判断是否为帧的最后一个NAL单元（简单判断：IDR或非分片的NAL单元）
    if (nalType == 5 || nalType != 28) // IDR或非FU-A分片
    {
        isLastNalOfFrame = true;
    }

    // 发送NAL单元
    var rtpPacket = new RTPPacket(nalUnit);
    rtpPacket.Header.Timestamp = _rtpTimestamp;
    rtpPacket.Header.MarkerBit = isLastNalOfFrame ? 1 : 0;

    RecordingSession?.RTCPeer.SendRtpRaw(SDPMediaTypesEnum.video, rtpPacket.Payload, rtpPacket.Header.Timestamp, rtpPacket.Header.MarkerBit, 100);

    // 仅在帧结束时递增时间戳
    if (isLastNalOfFrame)
    {
        _rtpTimestamp += (uint)_frameInterval;
    }

    // 缓存SPS/PPS，用于后续关键帧请求重传
    if (nalType == 7 || nalType == 8)
    {
        // 实现缓存逻辑
    }
}

额外调试建议 #

1. 将FFmpeg输出直接保存为本地文件，用ffplay验证是否为有效H264流：

   ffmpeg -y -re -i input.mp4 -an -c:v copy -bsf:v h264_mp4toannexb output.h264
   ffplay output.h264
   

2. 打印提取的NAL单元的类型和长度，确认是否符合预期（NAL类型通过第一个字节的低5位判断）。

内容的提问来源于stack exchange，提问作者Mr Squidr