Huggingface执行情感分析任务时出现PyTorch索引错误如何解决

报错的根本原因是你使用的finiteautomata/bertweet-base-sentiment-analysis模型最大支持的输入token长度为128，部分推文经过预处理后分词得到的token序列长度超过了这个阈值，导致位置嵌入层索引越界。

解决建议 #

• 最简单的修复方案是在初始化pipeline时开启自动截断，修改初始化代码即可：

model = pipeline(
    task = 'sentiment-analysis',
    model="finiteautomata/bertweet-base-sentiment-analysis",
    truncation=True,
    max_length=128
)

开启后输入文本的token长度超过128时会自动截断尾部内容，不会再触发长度超限报错。

• 可以在预处理环节新增长度校验逻辑，调用模型前先对文本分词后的长度做判断，长度超限的文本可以选择截断、或者直接返回中性结果，进一步降低报错概率。
• 现有代码是单条循环调用模型推理，处理百万级数据集效率极低，建议修改为批量传入符合要求的英文推文给pipeline一次性推理，速度可提升数倍，同时也能减少内存/显存的频繁波动。
• 如果对长文本的情感分析准确率要求较高，不希望截断丢失信息，可以采用滑动窗口法，把长推文拆分为多个不超过128token的片段分别推理，最终对多个片段的结果取多数投票或者加权平均作为整条推文的情感值。

内容的提问来源于stack exchange，提问作者Youcef B