PyTorch中BERT模型微调出现Index out of Range in Self错误求助

常见原因及对应修改位置 #

1. 输入序列长度超出模型限制 #

BERT系列模型有固定的最大输入长度（比如bert-base-uncased是512），如果预处理时没截断过长文本，或DataLoader返回的batch里存在超长度序列，就会触发索引越界。

• 修改位置：检查数据预处理函数，确保调用tokenizer.encode_plus时设置匹配模型的max_length，并开启截断：

  tokenizer.encode_plus(
      text,
      add_special_tokens=True,
      max_length=512,  # 对应你使用的BERT模型最大长度
      truncation=True,
      padding='max_length',
      return_tensors='pt'
  )
  

• 若自定义了collate_fn，也要确认它没有错误修改序列长度。

2. 嵌入层索引越界 #

如果自定义了嵌入层（比如添加额外token嵌入），可能是调用嵌入层时传入了超出嵌入表大小的索引值。

• 修改位置：检查模型类的嵌入相关代码，若添加了自定义token，需保证嵌入层的num_embeddings等于原BERT嵌入大小加上自定义token数量，且输入的token_ids不超出范围：

  class CustomBERTClassifier(nn.Module):
      def __init__(self, bert_model, num_classes, num_custom_tokens=0):
          super().__init__()
          self.bert = bert_model
          if num_custom_tokens > 0:
              original_emb = self.bert.embeddings.word_embeddings
              new_emb = nn.Embedding(
                  original_emb.num_embeddings + num_custom_tokens,
                  original_emb.embedding_dim
              )
              # 复制原有嵌入权重
              new_emb.weight.data[:original_emb.num_embeddings] = original_emb.weight.data
              self.bert.embeddings.word_embeddings = new_emb
          self.classifier = nn.Linear(self.bert.config.hidden_size, num_classes)
  

  同时要确保预处理时自定义token的id在合法范围内。

3. 维度顺序混淆 #

模型前向传播时，若错误交换了batch和序列维度，会导致索引越界。

• 修改位置：检查模型forward函数，确保input_ids的维度是[batch_size, seq_len]，而非反过来：

  def forward(self, input_ids, attention_mask=None):
      # 确认input_ids维度为[batch_size, seq_len]
      outputs = self.bert(input_ids=input_ids, attention_mask=attention_mask)
      pooled_output = outputs.pooler_output
      logits = self.classifier(pooled_output)
      return logits
  

4. 数据集中的异常样本 #

部分样本预处理后可能生成空序列或超长度序列，导致batch处理出错。

• 修改位置：在Dataset类中添加过滤逻辑，剔除异常样本：

  class TextDataset(Dataset):
      def __init__(self, texts, labels, tokenizer, max_len):
          # 过滤token长度超出max_len的样本
          valid_indices = [i for i, text in enumerate(texts) if len(tokenizer.encode(text)) <= max_len]
          self.texts = [texts[i] for i in valid_indices]
          self.labels = [labels[i] for i in valid_indices]
          self.tokenizer = tokenizer
          self.max_len = max_len
  

调试小技巧 #

• 训练时打印当前batch的input_ids.shape，确认维度和长度符合预期；
• 查看完整报错堆栈，定位触发错误的具体代码行（是BERT内部嵌入层还是自定义逻辑）；
• 取出出错的batch单独测试，排查是否为特定样本导致的问题。

内容的提问来源于stack exchange，提问作者blep