在Google Colab部署RoBERTa预训练模型时触发IndexError索引越界

排查与修复步骤 #

1. 扩大异常捕获范围，定位具体问题
   当前代码只捕获RuntimeError，但报错是IndexError，根本没被拦截。先修改异常处理逻辑，打印出错的id和文本片段，精准定位问题：

   res = {}
   for i, row in tqdm(df.iterrows(), total=len(df)):
       try:
           text = row['text']
           myid = row['id']
           vader_result = sia.polarity_scores(text)
           vader_result_rename = {f"vader_{key}": value for key, value in vader_result.items()}
           roberta_result = polarity_scores_roberta(text)
           both = {**vader_result_rename, **roberta_result}
           res[myid] = both
       except Exception as e:
           print(f'ID {myid} 出错: {type(e).__name__} - {str(e)}')
           print(f'出错文本片段: {text[:100]}...')
   

2. 过滤异常文本
   空字符串、仅含特殊字符或非ASCII编码的文本，可能导致模型处理时索引越界。调用RoBERTa前先做过滤：

   text = row['text'].strip()
   # 跳过空文本
   if not text:
       print(f'跳过空文本，ID: {myid}')
       continue
   # 移除非ASCII字符（可选）
   import re
   text = re.sub(r'[^\x00-\x7F]+', ' ', text)
   

3. 检查自定义函数polarity_scores_roberta的实现
   这个函数大概率是索引错误的源头，重点排查：

   • 是否错误访问了模型输出数组的索引（比如取logits或hidden_states时，下标超出数组长度）
   • 处理特殊token（<s>、</s>）时，是否没考虑实际序列长度就固定取某个位置的输出

4. 强制截断文本到安全长度
   即使检查过token数，也可能因为tokenizer和模型的适配问题导致溢出。用RoBERTa官方tokenizer手动截断：

   from transformers import RobertaTokenizer
   tokenizer = RobertaTokenizer.from_pretrained('roberta-base')
   # 截断到510，预留位置给首尾特殊token
   encoded = tokenizer(text, truncation=True, max_length=510, padding=False)
   truncated_text = tokenizer.decode(encoded['input_ids'], skip_special_tokens=True)
   roberta_result = polarity_scores_roberta(truncated_text)
   

5. 更新transformers库版本
   Colab默认的transformers版本可能存在已知bug，执行更新：

   !pip install --upgrade transformers
   

内容的提问来源于stack exchange，提问作者AnonyMus