PyTorch Lightning调用trainer.tuner.lr_find报AttributeError的解决方法求助

问题重现 #

使用PyTorch Lightning结合DataLoader训练模型时，调用学习率查找器触发如下错误：

AttributeError: 'Trainer' object has no attribute 'tuner'

相关代码片段：

model= BasicLightningTrain()
trainer=L.Trainer(max_epochs=34)

lr_find_results=trainer.tuner.lr_find(model,
                                  train_dataloaders=dataloader,
                                  min_lr=0.001,
                                  max_lr=1.0,
                                  early_stop_threshold=None)

解决方案 #

方法1：升级PyTorch Lightning到最新稳定版 #

PyTorch Lightning 1.0及以上版本已将lr_find整合为Trainer的直接方法，无需通过tuner属性调用。升级后修改代码如下：

model = BasicLightningTrain()
trainer = L.Trainer(max_epochs=34)

# 直接通过trainer调用lr_find
lr_find_results = trainer.lr_find(model,
                                  train_dataloaders=dataloader,
                                  min_lr=0.001,
                                  max_lr=1.0,
                                  early_stop_threshold=None)

执行升级命令：

pip install --upgrade pytorch-lightning

方法2：适配旧版本PyTorch Lightning（0.x系列） #

若无法升级版本，需单独导入并实例化Tuner类：

from pytorch_lightning.tuner import Tuner

model = BasicLightningTrain()
trainer = L.Trainer(max_epochs=34)
tuner = Tuner(trainer)  # 初始化Tuner实例

lr_find_results = tuner.lr_find(model,
                                train_dataloaders=dataloader,
                                min_lr=0.001,
                                max_lr=1.0,
                                early_stop_threshold=None)

结果使用示例 #

获取查找结果后，可直接将推荐学习率应用到模型：

# 获取推荐学习率
new_lr = lr_find_results.suggestion()
# 假设模型通过hparams管理学习率
model.hparams.lr = new_lr

内容的提问来源于stack exchange，提问作者Idea