咨询：libx264等编码器排空后无法重用的技术问题

针对你遇到的问题——编码器完成排空操作（发送空帧并接收数据包至EOF）后进入排空模式，avcodec_send_frame返回EOF；而avcodec_flush_buffers因编码器未声明AV_CODEC_CAP_ENCODER_FLUSH，无法重置draining标志导致编码器无法复用，除了关闭重开之外，还有以下几个可行方案：

1. 手动重置内部状态（应急可用，不推荐长期依赖） #

AVCodecInternal属于FFmpeg未公开的内部结构，但可直接操作其成员重置排空状态，同时清理缓冲资源：

// 重置排空标志
AVCodecInternal *avci = avctx->internal;
avci->draining = 0;
avci->draining_done = 0;

// 清理缓冲的帧和包
if (avci->buffer_frame) {
    av_frame_unref(avci->buffer_frame);
}
if (avci->buffer_pkt) {
    av_packet_unref(avci->buffer_pkt);
}

// 可选：根据业务需求重置帧计数
avctx->frame_num = 0;

注意：该方式属于绕过官方API操作内部结构，FFmpeg版本更新可能导致AVCodecInternal结构变化，存在兼容性风险，仅建议应急场景使用。

2. 避免触发排空模式（推荐方案） #

如果编码流程不需要强制排空编码器内部缓冲的所有数据，可直接跳过发送空帧的步骤，从根源上避免进入排空模式。比如批次编码结束时，直接停止发送帧，无需触发排空操作——这种方式无需修改内部状态，是最安全的编码器复用方案。

3. 调用编码器自定义flush回调（针对部分编码器） #

部分编码器即使未声明AV_CODEC_CAP_ENCODER_FLUSH，也实现了自定义flush回调。可检查并调用该回调后，手动重置排空标志：

// 调用编码器自带的flush回调（如果存在）
if (ffcodec(avctx->codec)->flush) {
    ffcodec(avctx->codec)->flush(avctx);
}

// 手动重置排空标志
AVCodecInternal *avci = avctx->internal;
avci->draining = 0;
avci->draining_done = 0;

该方案的有效性依赖编码器的具体实现，并非所有无AV_CODEC_CAP_ENCODER_FLUSH的编码器都支持。

补充说明 #

FFmpeg中avcodec_flush_buffers对无AV_CODEC_CAP_ENCODER_FLUSH的编码器直接返回，是因为这类编码器的内部状态通常无法安全重置，强制重置可能导致后续编码输出的码流损坏、帧顺序错误等问题。如果以上方案都无法满足需求，官方推荐的合规方式仍是创建新的编码器上下文（用avcodec_free_context释放旧上下文后重新初始化），虽然效率稍低，但能保证编码稳定性。

内容的提问来源于stack exchange，提问作者Neddie