基于libav采集卡H.264 QSV编码：PTS/DTS时间戳异常求助

核心问题定位 #

PTS/DTS异常本质是时间戳生成、传递或编码阶段的同步逻辑错误，结合QSV硬件编码和MP4封装特性，常见触发点包括：

• 采集帧的原始时间戳未正确转换为libav的时间基准
• 缩放前后帧的时间戳未同步传递
• QSV编码的延迟帧（B帧）导致DTS/PTS计算逻辑混乱
• MP4封装时未正确处理编码器输出的时间戳

分步修复方案 #

1. 规范采集帧的时间戳初始化 #

采集卡输出的帧时间戳通常是系统时间（如毫秒），需转换为对应AVStream的时间基准（av_q2d(stream->time_base)），确保每帧PTS严格单调递增：

AVFrame* frame = av_frame_alloc();
// 假设采集卡返回毫秒级时间戳timestamp_ms
int64_t pts = av_rescale_q(timestamp_ms, AV_TIME_BASE_Q, stream->time_base);
frame->pts = pts;
frame->pkt_dts = pts; // 无B帧时DTS与PTS一致

注意：若采集卡存在丢帧，需手动补全递增逻辑，避免时间戳跳变或重复。

2. 缩放转换时同步传递时间戳 #

使用sws_scale或QSV硬件缩放时，必须将原始帧的PTS/DTS完整复制到目标NV12帧：

AVFrame* scaled_frame = av_frame_alloc();
// 初始化scaled_frame的格式、尺寸等参数...
scaled_frame->pts = frame->pts;
scaled_frame->pkt_dts = frame->pkt_dts;
scaled_frame->duration = frame->duration; // 若采集帧带duration需同步
// 执行缩放操作
sws_scale(sws_ctx, frame->data, frame->linesize, 0, frame->height, scaled_frame->data, scaled_frame->linesize);

错误点：多数开发者会忽略缩放后帧的时间戳赋值，导致编码器接收到无时间戳的帧，触发自动生成逻辑进而引发混乱。

3. QSV编码器的时间戳配置调整 #

QSV编码器默认可能开启B帧，需让编码器自动计算DTS，同时严格保证输入帧PTS单调递增：

AVCodecContext* codec_ctx = avcodec_alloc_context3(codec);
// 配置编码器基础参数
codec_ctx->time_base = stream->time_base;
codec_ctx->framerate = av_inv_q(codec_ctx->time_base);
codec_ctx->gop_size = 30;
codec_ctx->max_b_frames = 2; // 开启B帧时需确保编码器处理DTS
// 开启严格时间戳检查
av_opt_set(codec_ctx->priv_data, "strict_pts", "1", 0);

关键：QSV硬件编码器对输入PTS的单调性要求极高，若输入帧PTS非单调，编码器会输出异常的DTS/PTS，甚至打乱帧序。

4. MP4封装时的时间戳同步 #

MP4封装器（AVFormatContext）需与编码器的时间基准严格对齐，避免时间戳二次转换错误：

AVFormatContext* fmt_ctx = avformat_alloc_context();
avformat_alloc_output_context2(&fmt_ctx, nullptr, "mp4", output_path);
AVStream* stream = avformat_new_stream(fmt_ctx, codec);
// 同步编码器时间基准到输出流
avcodec_parameters_from_context(stream->codecpar, codec_ctx);
stream->time_base = codec_ctx->time_base;
// 写入头部时禁用自动时间戳调整
av_opt_set(fmt_ctx->priv_data, "avoid_negative_ts", "make_non_negative", 0);

注意：若输出流time_base与编码器不一致，会导致封装时时间戳二次转换，引发PTS/DTS差异过大。

5. 编码后帧的时间戳处理 #

编码器输出的AVPacket需确保PTS/DTS符合MP4规范，B帧场景下可临时检查并修正异常值（核心仍需保证输入PTS单调）：

AVPacket pkt = {0};
av_init_packet(&pkt);
while (avcodec_receive_packet(codec_ctx, &pkt) == 0) {
    // 转换编码器输出时间戳到输出流基准
    av_packet_rescale_ts(&pkt, codec_ctx->time_base, stream->time_base);
    pkt.stream_index = stream->index;
    // 强制检查PTS/DTS单调性（应急方案，需从根源解决）
    static int64_t last_pts = AV_NOPTS_VALUE;
    static int64_t last_dts = AV_NOPTS_VALUE;
    if (pkt.pts != AV_NOPTS_VALUE) {
        if (last_pts != AV_NOPTS_VALUE && pkt.pts <= last_pts) {
            pkt.pts = last_pts + 1;
        }
        last_pts = pkt.pts;
    }
    if (pkt.dts != AV_NOPTS_VALUE) {
        if (last_dts != AV_NOPTS_VALUE && pkt.dts <= last_dts) {
            pkt.dts = last_dts + 1;
        }
        last_dts = pkt.dts;
    }
    av_interleaved_write_frame(fmt_ctx, &pkt);
    av_packet_unref(&pkt);
}

原型代码检查重点 #

1. 采集、缩放、编码的每一步是否都传递了正确的时间戳？
2. 编码器的time_base是否与输出流的time_base一致？
3. 是否开启了B帧但未配置编码器正确处理DTS？
4. 采集帧的时间戳是否存在重复或跳变（可通过打印日志排查）？

内容的提问来源于stack exchange，提问作者Michael Werner