HEVC帧内预测模式隐写：RDO导致嵌入数据丢失的解决方法

一、解决RDO后修改模式导致的码流异常问题 #

直接修改RDO输出的最优模式会破坏编码器的码流生成逻辑——RDO阶段已完成模式合法性校验、熵编码上下文更新及与PU尺寸的绑定，事后修改会引发语法冲突。正确做法是在RDO模式选择过程中注入嵌入信息：

• 不要在RDO完成后替换最优模式，而是在TEncCu::xCheckRDCostIntra遍历候选帧内模式时，将需嵌入的模式作为候选参与RDO计算，或调整该模式的RDCost权重，让编码器主动选择其为最优解。
• 确保嵌入模式符合当前PU尺寸的合法范围：比如4x4 PU仅支持33种模式（含DC、Planar和31种角度模式），64x64 PU仅支持DC、Planar和8种角度模式，非法模式会直接导致解码器报错。

二、解决RDO分裂决策导致的嵌入模式丢失问题 #

CU的分裂/不分裂决策基于全局RDCost最优，父CU的模式修改会被子CU的重新计算覆盖，需从以下维度处理：

1. 绑定嵌入操作与CU最终分裂状态

   • 仅在最终确定不分裂的CU中执行模式嵌入。可在TEncCu::encodeCU函数中，当CU确定不分裂（达到最大深度或选择不分裂）时，修改其帧内模式，同步更新对应的RDCost和熵编码上下文。
   • 避免在xCheckRDCostIntra中间阶段修改模式，此时CU分裂决策未确定，后续分裂过程会重新计算子CU模式，覆盖之前的修改。

2. 调整RDO分裂决策逻辑（可选）

   • 若需强制在特定尺寸CU中嵌入信息，可调整分裂的RDCost阈值，让编码器优先选择不分裂的CU。比如在TEncCu::xCheckRDCostSplit中，为需嵌入信息的CU增加分裂惩罚项，提高分裂的RDCost，引导编码器选择不分裂。
   • 注意：该方法会引入一定压缩性能损失，需在隐写容量与压缩效率间权衡。

3. 同步更新所有关联编码器状态

   • 修改模式后，必须重新计算该模式的预测残差、RDCost，并更新熵编码上下文模型（如m_pcEntropyCoder中的概率状态），否则后续码流生成会出现不一致，导致解码器解析错误或数据丢失。
   • 修改模式后调用m_pcPredSearch->estIntraPredLumaQT重新计算预测值，再更新残差和RDCost，确保该模式的RDCost准确，避免编码器因RDCost过高选择其他模式。

4. 设计鲁棒的嵌入位置标记机制

   • 为避免解码器端出现未嵌入的模式，需在码流中标记嵌入CU的位置：可利用CU的冗余语法元素（如跳过模式标记、色度模式冗余）做标记，解码器依此提取信息；或固定采用特定尺寸（如32x32且不分裂）的CU作为嵌入载体，解码器按相同规则遍历CU提取信息。

三、验证与调试建议 #

• 编码器端修改模式后，打印当前CU的尺寸、深度、最终选择的模式，确认嵌入模式被正确保留。
• 解码器端解析码流时，同步打印每个CU的模式，对比编码器端的嵌入记录，定位丢失或错误的位置。
• 用HEVC码流分析工具（如HM参考软件TAppDecoder的日志功能）检查码流语法合法性，明确解码器报错是模式非法还是上下文不一致导致。

内容的提问来源于stack exchange，提问作者Shija