使用Transformers Trainer微调Mistral 7B时遇Attention Mask尺寸错误求助

问题原因 #

这个报错的核心是Mistral模型的滑动窗口注意力机制与你的数据处理/模型配置不匹配：

• Mistral-7B默认采用滑动窗口注意力（Sliding Window Attention），在部分transformers版本或自定义配置中，模型会期望注意力掩码的最后一维长度为「当前输入序列长度 + 滑动窗口大小」。你的输入序列长度是512，若滑动窗口大小被设置为512，模型就会期望掩码尺寸为(2,1,512,1024)，但你生成的掩码仅为(2,1,512,512)，导致尺寸不匹配。
• 另一种可能是你使用的transformers版本与示例Notebook不一致：新版本transformers对Mistral的注意力掩码生成逻辑做了调整，而示例代码未适配该变化，导致手动构造的掩码不符合模型要求。

解决方法 #

• 检查模型配置：查看模型的滑动窗口参数是否异常，执行以下代码：

from transformers import MistralConfig
config = MistralConfig.from_pretrained("mistralai/Mistral-7B-v0.1")
print(config.sliding_window)  # 正常应为4096，若显示512或1024，说明配置被修改

• 自动生成适配的掩码：避免手动构造注意力掩码，改用transformers内置方法生成：

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("mistralai/Mistral-7B-v0.1")
model = AutoModelForCausalLM.from_pretrained("mistralai/Mistral-7B-v0.1")

# 处理输入时，让模型自动生成正确的注意力掩码
inputs = tokenizer("你的训练文本", return_tensors="pt", padding=True, truncation=True, max_length=512)
outputs = model(**inputs)

• 对齐transformers版本：找到示例Notebook中指定的transformers版本（比如4.33.2），安装相同版本：

pip install transformers==4.33.2

• 确认序列长度设置：确保数据处理时的max_seq_length与模型的max_position_embeddings或滑动窗口大小匹配，避免序列长度与模型期望的掩码维度冲突。

内容的提问来源于stack exchange，提问作者JJ Fran