自定义Transformer模型训练触发IndexError索引越界问题求助

1. 对齐Tokenizer与模型Embedding的词汇表大小 #

这是最常见的触发原因：自定义模型的Embedding层词汇表大小，必须和你使用的BertTokenizer完全匹配。

• 先确认Tokenizer的词汇表规模：print(tokenizer.vocab_size)
• 检查模型中Embedding层的num_embeddings参数，直接用Tokenizer的vocab_size赋值，避免手动写死数值：

  # 错误示例：硬编码数值可能和Tokenizer不匹配
  self.embedding = nn.Embedding(num_embeddings=30000, embedding_dim=768)
  # 正确示例：动态对齐Tokenizer的词汇表
  self.embedding = nn.Embedding(num_embeddings=tokenizer.vocab_size, embedding_dim=768)
  

2. 检查数据集的Token ID范围 #

在数据集类的__getitem__方法中添加临时打印，排查是否存在超出词汇表范围的Token ID：

def __getitem__(self, idx):
    data = self.data[idx]
    inputs = self.tokenizer(data['text'], truncation=True, padding='max_length', max_length=128)
    # 临时排查代码：打印无效Token ID及对应文本
    invalid_ids = [id for id in inputs['input_ids'] if id >= self.tokenizer.vocab_size]
    if invalid_ids:
        print(f"无效Token ID: {invalid_ids}")
        print(f"对应文本: {data['text']}")
    return {k: torch.tensor(v) for k, v in inputs.items()}, torch.tensor(data['label'])

如果发现无效ID，大概率是Tokenizer初始化错误：比如加载了错误的预训练模型权重，或者自定义词汇表路径不对。重新确认Tokenizer初始化代码：

# 加载预训练BertTokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
# 或加载自定义词汇表
tokenizer = BertTokenizer(vocab_file='./你的自定义词汇表路径.txt')

3. 验证序列长度与位置Embedding的兼容性 #

如果错误来自位置Embedding层，说明你的输入序列长度超过了模型位置Embedding的最大处理范围：

• 检查模型中位置Embedding的num_embeddings数值
• 确保数据集处理时设置的max_length不超过该数值：

  # 模型中位置Embedding定义（假设最大支持512长度）
  self.position_embedding = nn.Embedding(num_embeddings=512, embedding_dim=768)
  # 数据集处理时的max_length必须≤512
  inputs = self.tokenizer(data['text'], truncation=True, padding='max_length', max_length=512)
  

4. 排查训练循环的边界逻辑 #

早停机制本身不会触发索引错误，但如果训练循环中手动处理batch索引时出现越界，也可能引发问题。验证训练循环逻辑：

for epoch in range(epochs):
    for batch_idx, (inputs, labels) in enumerate(train_loader):
        # 避免手动计算索引时超出数据集batch总数
        if batch_idx >= len(train_loader):
            break
        # 后续训练逻辑...

额外提示 #

如果使用自定义词汇表，必须保证Tokenizer和模型Embedding层使用完全相同的词汇表文件，否则会出现词汇表映射不匹配的问题。

内容的提问来源于stack exchange，提问作者osama fathi