如何用Hugging Face Transformers让GPT-2生成完整短句？

我之前也碰到过类似需求——不想靠生硬的token数截断，而是让模型自动生成完整的短句后停下。核心思路是用终止条件替代单纯的length参数限制，下面是几个实用的实现方式，都适配自回归模型：

1. 利用模型原生EOS Token自动终止 #

GPT-2这类自回归模型自带<|endoftext|>（EOS）标记，用来表示文本结束。我们可以让模型生成时遇到这个标记就停止，同时保留token上限作为兜底（防止无限生成）。

修改你的命令如下：

python transformers/examples/run_generation.py \
 --model_type gpt2 \
 --model_name_or_path gpt2 \
 --prompt "Hi, " \
 --max_new_tokens 10 \  # 最多生成10个新token，替代原length参数（原length是prompt+生成文本的总长度）
 --early_stopping True \  # 遇到EOS标记就提前终止
 --num_return_sequences 1

这样模型会在完成句子（触发EOS）或达到token上限时停止，大概率能输出完整内容，比如：Hi, how have you been lately?

2. 自定义终止标点（更贴合短句需求） #

如果想让模型在句号、感叹号、问号这类自然句尾标点后停止，新版run_generation.py支持stop_sequence参数，直接指定终止的字符串即可：

python transformers/examples/run_generation.py \
 --model_type gpt2 \
 --model_name_or_path gpt2 \
 --prompt "Hi, " \
 --max_new_tokens 10 \
 --stop_sequence ".", "!", "?" \  # 遇到这些标点就停止生成
 --num_return_sequences 1

这个方法更精准，能确保输出的是完整表意的短句，不会出现半截句子的情况。

3. 更换轻量自回归模型（可选） #

如果想试试更高效的模型，DistilGPT2是个好选择——它是GPT-2的蒸馏版，体积小、速度快，生成效果接近原版，同样支持上面的终止参数。只需要修改模型相关参数：

python transformers/examples/run_generation.py \
 --model_type distilgpt2 \
 --model_name_or_path distilgpt2 \
 --prompt "Hi, " \
 --max_new_tokens 10 \
 --stop_sequence ".", "!", "?" \
 --num_return_sequences 1

小提示 #

如果你的run_generation.py没有max_new_tokens或stop_sequence参数，说明是旧版本，先更新Transformers库即可：pip install --upgrade transformers

内容的提问来源于stack exchange，提问作者r0levrai