使用TFBertModel遇AttributeError：无parameters属性问题求助

错误原因 #

你导入的TFBertModel是Hugging Face针对TensorFlow实现的BERT模型，而你使用的AdamW是PyTorch版本的优化器，两者框架API不兼容：

• TensorFlow模型获取可训练参数的方法是trainable_variables，而非PyTorch的parameters()
• PyTorch版本的AdamW无法识别TensorFlow模型的参数结构

解决方案 #

方案1：继续使用TensorFlow框架

改用Hugging Face提供的TensorFlow版本AdamW优化器，同时用trainable_variables获取参数：

from transformers import TFBertModel, TFAdamW

model = TFBertModel.from_pretrained("bert-base-uncased")
optimizer = TFAdamW(model.trainable_variables, lr=5e-5)

也可以直接使用TensorFlow原生的Adam优化器：

import tensorflow as tf
from transformers import TFBertModel

model = TFBertModel.from_pretrained("bert-base-uncased")
optimizer = tf.keras.optimizers.Adam(learning_rate=5e-5)

方案2：切换为PyTorch框架（和教程保持一致）

如果想遵循教程的代码，将模型替换为PyTorch版本的BertModel，这样就能直接使用AdamW和parameters()：

from transformers import BertModel, AdamW

model = BertModel.from_pretrained("bert-base-uncased")
optimizer = AdamW(model.parameters(), lr=5e-5)

补充说明 #

你参考的教程使用的是PyTorch版本的BERT模型，而你误导入了TensorFlow版本，这是导致报错的核心原因。两个框架的模型API细节存在差异，使用时需要对应匹配。

内容的提问来源于stack exchange，提问作者sham Naseer