如何调整Hugging Face Pipeline参数避免文本重复并生成完整语句？

问题还原 #

你使用的示例代码：

from transformers import pipeline, set_seed
generator = pipeline('text-generation', model="facebook/opt-125m")
print(generator("what is machine learning?",max_length=512))

输出存在大量重复片段，且设置较小max_length时无法生成完整语句。

核心原因与解决方案 #

1. 解决重复输出问题 #

重复是小参数量模型（如opt-125m）的常见现象，这类模型语言建模能力有限，默认的贪心解码逻辑易陷入循环生成。可通过以下参数优化：

• 开启采样模式并调整随机性参数：替换贪心解码为采样策略，搭配温度、核采样、重复惩罚参数，打破循环：

  generator(
      "what is machine learning?",
      max_length=512,
      do_sample=True,
      temperature=0.7,  # 控制生成随机性，0.7为常用适中值
      top_p=0.9,        # 仅选取累计概率前90%的候选token
      repetition_penalty=1.2  # 惩罚重复出现的token，值越大惩罚强度越高
  )
  

• 指定明确的结束token：让模型识别到结束符时停止生成，避免无限制循环：

  from transformers import AutoTokenizer
  tokenizer = AutoTokenizer.from_pretrained("facebook/opt-125m")
  generator(
      "what is machine learning?",
      max_length=512,
      eos_token_id=tokenizer.eos_token_id,
      repetition_penalty=1.2
  )
  

2. 生成完整语句的调整 #

设置较小max_length时无法生成完整句子，是因为该参数限制了输入+输出的总token数。改用max_new_tokens参数，仅限制新增生成的token数量，不会占用输入token的配额：

generator(
    "what is machine learning?",
    max_new_tokens=100,  # 仅生成100个新token，保障语句完整性
    do_sample=True,
    repetition_penalty=1.2
)

模型特性与差异说明 #

• 小参数量开源模型（如opt-125m）确实容易出现重复、生成不连贯的问题，本质是参数量不足导致语言建模能力有限，解码时易陷入局部最优的循环逻辑。参数量更大的开源模型（如opt-6.7b及以上）这类问题会显著减少。
• OpenAI的GPT系列模型能在合适位置停止，一是因为其参数量庞大，语言建模精度更高，能准确判断语句结束时机；二是OpenAI在训练和解码阶段做了大量专项优化，包括精细的停止规则设置、解码策略调优，以及针对生成连贯性的定向训练。

内容的提问来源于stack exchange，提问作者4daJKong