HuggingFace MarianMT长文本翻译结果异常问题求解

核心错误点 #

• 硬编码了错误的特殊token ID：你使用的Helsinki-NLP/opus-mt-de-en翻译模型不属于BERT系列，强行添加值为101的CLS、102的SEP token完全不符合模型预期，输入异常直接导致翻译结果混乱。
• 分块逻辑不适用于翻译任务：直接在token序列上无差别切割，很容易将完整语义拆分到两个块中，破坏上下文连贯性。
• 翻译结果仅取了第一个块的输出：多块输入时model.generate返回的输出数量和输入块数量一致，你的代码仅解码了outputs[0]，直接丢弃了后续所有块的翻译结果，自然无法得到完整长文本的翻译内容。
• 错误套用了非翻译任务的处理逻辑：你参考的处理方案是为BERT类单塔文本理解任务设计的，和seq2seq架构的翻译任务逻辑不兼容。

修正方案 #

处理逻辑调整 #

1. 优先在原始文本层面按语义边界（句号、换行、段落分隔符）拆分文本块，保证每个块的token数不超过510，避免拆分完整语义。
2. 不要手动添加特殊token，直接调用tokenizer的自动处理逻辑，或者通过tokenizer.cls_token_id、tokenizer.sep_token_id获取对应模型的正确特殊token ID，禁止硬编码。
3. 所有块翻译完成后，逐块解码翻译结果，再按顺序拼接得到完整翻译内容。
4. 可选优化：相邻块保留10-20个token的重叠，拼接时去除重复的重叠部分，避免边缘语义丢失。

修正后代码示例 #

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
import torch
import re

# 设备配置
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
mname = 'Helsinki-NLP/opus-mt-de-en'
tokenizer = AutoTokenizer.from_pretrained(mname)
model = AutoModelForSeq2SeqLM.from_pretrained(mname).to(device)
max_token_len = 510  # 预留特殊token的位置

# 按语义边界拆分长文本的函数
def split_text_by_semantics(text, max_token=max_token_len, tokenizer=tokenizer):
    # 先按句子拆分
    sentences = re.split(r'(?<=[.!?])\s+', text)
    chunks = []
    current_chunk = []
    current_len = 0
    for sent in sentences:
        # 计算当前句子的token数
        sent_token_len = len(tokenizer.encode(sent, add_special_tokens=False))
        if current_len + sent_token_len <= max_token:
            current_chunk.append(sent)
            current_len += sent_token_len
        else:
            # 当前块已满，存入列表
            chunks.append(' '.join(current_chunk))
            current_chunk = [sent]
            current_len = sent_token_len
    # 加入最后一个块
    if current_chunk:
        chunks.append(' '.join(current_chunk))
    return chunks

# 测试用长文本
text_short = "Nach nur sieben Seiten appellierte man an die Wählerinnen und Wähler, sich richtig zu entscheiden, nämlich für Frieden, Freiheit, Sozialismus. "
text_long = text_short * 30

# 拆分文本块
text_chunks = split_text_by_semantics(text_long)
translated_chunks = []

# 逐块翻译
for chunk in text_chunks:
    tokens = tokenizer(chunk, return_tensors="pt", truncation=True, max_length=512).to(device)
    outputs = model.generate(**tokens)
    translated = tokenizer.decode(outputs[0], skip_special_tokens=True)
    translated_chunks.append(translated)

# 拼接得到完整翻译结果
full_translation = ' '.join(translated_chunks)
print(full_translation)

依赖说明 #

依赖安装命令保持不变：

pip3 install torch==1.9.0+cu102 torchvision==0.10.0+cu102 torchaudio===0.9.0 -f https://download.pytorch.org/whl/torch_stable.html
pip install transformers
pip install sentencepiece

内容的提问来源于stack exchange，提问作者TefoD