为何在特定领域微调BERT MLM效果不佳？存在哪些操作错误？

• 你没有加载BERT的预训练权重，直接使用随机初始化的模型训练，这是导致效果异常的根本原因。
  代码里的model = AutoModelForMaskedLM.from_config(config)只会根据配置生成参数完全随机的模型，完全丢失了bert-base-uncased预训练阶段学到的通用语义知识。BERT-base有超过1亿参数，从零训练需要TB级的语料和上千小时的训练成本，你当前使用的几GB语料和最多10轮的训练周期完全不足以让随机初始化的模型学到有效语义，模型只能拟合语料中出现频率最高的停用词，所以预测结果全部不符合预期。

• 训练参数没有手动指定学习率，Transformers默认的学习率不一定适配你的数据集，微调MLM任务通常建议设置学习率在2e-5 ~ 5e-5区间。
• LineByLineTextDataset要求输入的corpora.txt每一行对应一条独立的完整文本，如果你的语料没有按该规范预处理，会导致模型学习到的上下文信息混乱，影响训练效果。
• 微调MLM任务通常不需要太高的训练轮次，2-4轮即可收敛，轮次太高反而容易导致模型过拟合，丢失通用语义能力。

from transformers import AutoConfig, AutoTokenizer, AutoModelForMaskedLM

tokenizer = AutoTokenizer.from_pretrained('bert-base-uncased')
# 直接加载预训练权重，同时指定需要输出隐层状态
model = AutoModelForMaskedLM.from_pretrained('bert-base-uncased', output_hidden_states=True)

from transformers import LineByLineTextDataset

dataset = LineByLineTextDataset(tokenizer=tokenizer,
                                file_path="data/english/corpora.txt", 
                                block_size = 512)

from transformers import DataCollatorForLanguageModeling

data_collator = DataCollatorForLanguageModeling(tokenizer=tokenizer, mlm=True, mlm_probability=0.15)

from transformers import Trainer, TrainingArguments

training_args = TrainingArguments(
    output_dir="output/models/english",
    overwrite_output_dir=True,
    num_train_epochs=3,
    per_gpu_train_batch_size=8,
    learning_rate=3e-5, # 新增适配微调任务的学习率
    save_steps = 22222222,
    save_total_limit=2
)

trainer = Trainer(model=model, args=training_args, data_collator=data_collator, train_dataset=dataset)

trainer.train()
trainer.save_model("output/models/english")

内容的提问来源于stack exchange，提问作者Ding Dong