TF2目标检测API中cosine_decay学习率warmup后不衰减问题

你的初始预期的偏差修正 #

按照你贴出的pipeline.config优化器配置，你对学习率warmup阶段的预期是完全正确的：

• 前250步处于预热阶段，学习率会从0.001线性上升到基础学习率0.08

但你对衰减终止步数的预期存在小偏差：你配置里写的total_steps: 300000是30万步，不是3万步，正常配置下学习率会从250步开始按余弦曲线逐步衰减，直到第30万步趋近于0，而不是3万步就结束。

学习率升到0.08后长期不衰减的核心原因 #

这类问题在TF2研究版目标检测API的训练场景下，常见诱因有三类：

• 全局步数计数器未正确传递给学习率调度器
  余弦衰减的学习率是完全依赖全局训练步动态计算的，如果自定义训练循环里没有在每轮梯度更新后对全局step执行自增操作，或是初始化学习率调度器时没有把正确的step张量绑定进去，调度器会永远卡在warmup结束的250步节点上，计算出来的学习率就会一直固定在0.08，完全不会触发后续的衰减逻辑。
• 配置参数解析传递遗漏
  部分版本的TF2目标检测API存在嵌套配置解析的兼容问题：如果训练脚本没有把cosine_decay_learning_rate块里的total_steps、warmup_steps参数完整传递到实际初始化的调度器实例，调度器会退化为固定值学习率模式，表现为warmup走完后学习率长期不下降。
• TensorBoard日志指标错位
  少数场景下学习率本身是正常衰减的，但日志记录模块没有读取优化器的实时学习率值，只是固定输出了warmup结束后的峰值学习率到TensorBoard，造成了学习率不衰减的视觉假象。

快速排查验证方法 #

你可以在训练循环的每一步直接打印优化器当前的实际学习率值，对比全局step的累加进度：如果step已经推进了数千步，但打印的学习率始终为0.08，就属于前两类配置或代码逻辑的问题；如果打印的学习率已经在缓慢下降，就说明是TensorBoard的日志记录逻辑存在显示错误。

内容的提问来源于stack exchange，提问作者Matthias