使用原生BERT做情感分析 超长输入触发张量尺寸不匹配报错

原生BERT-base在预训练阶段就将位置嵌入的最大长度固定为512，对应权重矩阵尺寸为[512, hidden_size]。修改tokenizer的max_len参数仅能调整分词阶段的截断阈值，无法修改模型内部预训练好的位置嵌入权重，输入长度超过512时模型无法匹配到对应位置的嵌入参数，就会抛出维度不匹配的错误。
直接截取前512个token的方案确实会丢失后部文本的语义信息，在不微调模型的前提下，有以下可落地的解决方案：

• 滑窗分段推理+结果聚合：这是长文本搭配原生BERT做分类最通用的无训练方案。先将全部分词后的token按固定窗口切分，相邻窗口保留一定比例的重叠token避免上下文断裂（常用配置：窗长510，步长255，相邻片段重叠255个token），每个片段单独输入模型得到情感预测logits，最终对所有片段的logits取平均/加权投票，得到整条文本的情感结果。注意切分必须在分词完成后按token数量操作，不能直接按原始字符长度截断。
• 替换长上下文预训练变体：如果不想实现滑窗逻辑，可以直接替换预训练阶段就支持长上下文的BERT类模型，无需微调即可直接推理：比如Longformer支持最长4096token输入，用滑动窗口注意力替代全注意力，推理速度和原生BERT接近；Nyströmformer支持最长8192token输入，显存占用更低。这类模型在HuggingFace上均有现成的多语言情感分类权重，仅需替换代码中的模型名即可，无需修改推理逻辑。

注意：不要直接修改模型配置文件中的max_position_embeddings参数强行拉长支持长度，新增位置的嵌入权重是随机初始化的，没有经过预训练，直接推理会得到完全错乱的结果，除非用大量长文本语料重新微调位置嵌入，否则该方法无效。

原代码存在两处逻辑错误：一是|按位或运算符优先级高于==，判断逻辑失效；二是分支中res ==1为判断语句而非赋值，会导致分类结果错误，以下代码已同步修复：

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

tokenizer = AutoTokenizer.from_pretrained('nlptown/bert-base-multilingual-uncased-sentiment')
model = AutoModelForSequenceClassification.from_pretrained('nlptown/bert-base-multilingual-uncased-sentiment')
model.eval()

def predict_sentiment(tweet, window_size=510, stride=255):
    # 对全量文本分词，不提前截断
    full_tokens = tokenizer.encode(tweet, add_special_tokens=False)
    total_len = len(full_tokens)
    
    # 短文本直接推理
    if total_len <= window_size:
        inputs = tokenizer(tweet, return_tensors='pt', truncation=True, max_length=512)
        with torch.no_grad():
            logits = model(**inputs).logits
        pred = int(torch.argmax(logits)) + 1
    # 长文本滑窗推理
    else:
        window_logits_list = []
        start = 0
        while start < total_len:
            end = min(start + window_size, total_len)
            # 为每个窗口拼接CLS、SEP特殊标记
            window_input_ids = torch.tensor([
                [tokenizer.cls_token_id] + full_tokens[start:end] + [tokenizer.sep_token_id]
            ])
            with torch.no_grad():
                window_logits = model(window_input_ids).logits
            window_logits_list.append(window_logits)
            if end == total_len:
                break
            start += stride
        # 对所有窗口的预测结果取平均
        avg_logits = torch.mean(torch.cat(window_logits_list, dim=0), dim=0, keepdim=True)
        pred = int(torch.argmax(avg_logits)) + 1
    
    # 映射到3分类结果
    if pred in (1, 2):
        return 1
    elif pred == 3:
        return 2
    else:
        return 3

# 测试调用
print(predict_sentiment("hello world"))

内容的提问来源于stack exchange，提问作者AhmedKamal2021