如何重置AutoModelForSequenceClassification模型的参数？

你当前的方法需要先保存由AutoConfig初始化的模型，再加载为序列分类模型，确实可以简化。以下是两种无需保存中间模型的实现方式：

方法一：直接用AutoConfig初始化分类模型 #

直接通过预训练模型的配置文件初始化AutoModelForSequenceClassification，权重会自动从头随机初始化，完全跳过保存步骤：

from transformers import AutoConfig, AutoModelForSequenceClassification

model_name = "moussaKam/frugalscore_tiny_bert-base_bert-score"
config = AutoConfig.from_pretrained(model_name)
# 直接基于config创建序列分类模型，权重为随机初始化状态
model = AutoModelForSequenceClassification(config)

方法二：加载模型后手动重置权重 #

如果已经加载了预训练的序列分类模型，想要重新初始化所有参数，可以遍历模型模块调用reset_parameters方法（PyTorch模块的通用初始化接口，大部分Transformer子模块都实现了该方法）：

from transformers import AutoModelForSequenceClassification

model_name = "moussaKam/frugalscore_tiny_bert-base_bert-score"
model = AutoModelForSequenceClassification.from_pretrained(model_name, local_files_only=True)

# 定义重置函数
def reinitialize_model(model):
    for module in model.modules():
        if hasattr(module, 'reset_parameters'):
            module.reset_parameters()

# 执行重置
reinitialize_model(model)

补充说明 #

• Transformers库目前没有内置reinitialize_weights=True这类初始化参数，也没有通用的model.reinitialize_parameters()方法，所以需要用上述两种方式实现。
• 方法一的效果和你原来保存再加载的逻辑完全一致，都是基于原模型的配置从头初始化权重。

内容的提问来源于stack exchange，提问作者alvas