You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

为何Keras模型输出的学习率未变化?内置优化器训练不稳定求助

问题原因分析与解决方案

核心原因:你获取的是初始学习率,而非实时更新值

你自定义的lr metric直接返回optimizer.lr,但这个属性存储的是优化器的初始学习率张量,不是训练过程中实时衰减/更新后的学习率:

  • 对于Adam、SGD这类内置优化器,默认情况下如果没配置学习率衰减(比如没设置decay参数),学习率确实是固定的,所以你看到的lr: 0.0010不会变化;
  • 就算你设置了优化器的decay参数,实际训练中优化器内部会计算衰减后的学习率,但optimizer.lr依然保持初始值,导致你的metric无法显示真实的学习率变化。

而LearningRateScheduler是通过动态替换优化器的学习率更新逻辑工作的:它会在每个epoch(或step)根据你定义的函数返回新的学习率,并且同步更新优化器内部的学习率变量,此时你的metric能正确显示变化;同时这种显式的学习率调度更贴合模型收敛规律,所以训练过程会更稳定。

正确获取实时学习率的方法

修改你的get_lr_metric函数,使用优化器的_decayed_lr方法获取实时衰减后的学习率:

import tensorflow as tf

def get_lr_metric(optimizer):
    def lr(y_true, y_pred):
        # 获取优化器当前实际使用的学习率
        return optimizer._decayed_lr(tf.float32)
    return lr

这个方法能返回优化器当前真实使用的学习率,无论是默认固定值、自带衰减计算,还是通过LearningRateScheduler设置的动态值,都能正确显示。

补充说明

训练不稳定的本质不一定是学习率没变化,可能是默认固定学习率不匹配你的任务:

  • 固定学习率在训练后期容易导致模型震荡,难以收敛到最优值;
  • LearningRateScheduler让学习率随训练进程逐步降低,更符合模型收敛的普遍规律,因此训练会更稳定。

内容的提问来源于stack exchange,提问作者zhouzou

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.08.16 15:57:16