GPT-J(6b)自动补全提示词构建及SageMaker部署问题咨询

一、当前配置导致模型无有效响应的问题分析 #

1. 提示词格式与模型适配性问题 #

GPT-J这类开源大模型和OpenAI的text-davinci-003对提示词的格式敏感度、指令理解逻辑存在差异。你当前的few-shot提示格式虽然在OpenAI模型上有效，但GPT-J可能需要更明确的指令引导，或者没有识别到output:后的生成触发信号，导致倾向于重复输入的结构内容。

2. max_length参数计算错误 #

你用len(prompt) + maximum_token_length设置最大生成长度，但字符数≠token数。GPT-J使用GPT-2风格的tokenizer，一个字符可能对应多个token，反之亦然。这种错误计算会导致实际可生成的token数远小于预期（甚至可能刚好覆盖输入内容），模型还没开始生成新内容就触发了长度限制，只能重复输入内容。

3. 缺少停止序列设置 #

没有配置stop参数，模型无法识别生成的终止条件，容易陷入重复输入格式或内容的循环。比如应该指定当模型生成换行、特定分隔符时停止。

4. 采样参数单一（补充优化点） #

仅设置temperature=0.6可能不够，配合top_p=0.9等参数可增加生成多样性，避免模型倾向于概率最高的重复内容。

二、修正后的示例代码 #

from transformers import AutoTokenizer

# 加载GPT-J的tokenizer（端点部署时需在推理脚本中同步处理）
tokenizer = AutoTokenizer.from_pretrained("EleutherAI/gpt-j-6B")

# 优化提示词，明确生成指令
prompt = """
生成要求：
- 语言：es
- 匹配关键词：comida
- 主题：hoteles en la playa todo incluido
- 生成与主题相关的自然文本，需包含关键词comida

示例输出：
¿Sabes cuáles son los mejores Hoteles Todo Incluido de España? Cada vez son más los que se suman a la moda del Todo Incluido para disfrutar de unas perfectas y completas vacaciones en familia, en pareja o con amigos. Y es que con nuestra oferta hoteles Todo Incluido podrás vivir unos días de auténtico relax y una estancia mucho más completa, ya que suelen incluir desde el desayuno, la comida y la cena, hasta cualquier snack y bebidas en las diferentes instalaciones del hotel. ¿Qué se puede pedir más para relajarse durante una perfecta escapada? A continuación, te presentamos los mejores hoteles Todo Incluido de España al mejor precio.

现在生成新内容：
output:
"""

# 基于token数计算最大生成长度
maximum_token_length = 100  # 根据需求调整为合理值
prompt_token_count = tokenizer.encode(prompt, return_tensors="pt").shape[1]
total_max_length = prompt_token_count + maximum_token_length

# 采样参数配置
sampling_temperature = 0.6
top_p = 0.9

# 构建预测参数，添加停止序列
predictor_arguments = {
    "inputs": prompt,
    "parameters": {
        "max_length": total_max_length,
        "temperature": sampling_temperature,
        "top_p": top_p,
        "stop": ["\n"]  # 遇到换行停止生成
    }
}

# 执行预测并输出结果
predictor_output = predictor.predict(predictor_arguments)
text_output = predictor_output[0]["generated_text"]
print(f"text output: {text_output}")

三、如何指定关键词出现在生成内容的前10个词中 #

方法1：提示词强制引导 #

直接在提示词中明确要求，修改prompt的生成指令部分：

prompt = """
生成要求：
- 语言：es
- 匹配关键词：comida
- 主题：hoteles en la playa todo incluido
- 生成的内容前10个词必须包含关键词comida，再继续生成与主题相关的自然文本

示例输出：
...（保留原示例）

现在生成新内容：
output:
"""

这种方法简单直接，依赖模型的指令理解能力，GPT-J在明确指令下通常能满足要求。

方法2：自定义推理脚本实现约束解码 #

如果需要更强制的约束，可以在SageMaker的推理脚本中添加逻辑：

1. 加载tokenizer，对生成的内容进行分词。
2. 检查前10个token是否包含目标关键词的token形式。
3. 若不满足则重新生成（或调整采样参数重试）。

示例推理脚本片段：

def predict_fn(input_data, model, tokenizer):
    prompt = input_data["inputs"]
    params = input_data["parameters"]
    target_keyword = "comida"
    keyword_tokens = tokenizer.encode(target_keyword, add_special_tokens=False)
    
    # 最多重试3次
    for _ in range(3):
        outputs = model.generate(
            **tokenizer(prompt, return_tensors="pt").to(model.device),
            max_length=params["max_length"],
            temperature=params["temperature"],
            top_p=params["top_p"],
            stop=params["stop"]
        )
        generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
        # 提取生成的新内容
        generated_part = generated_text[len(prompt):].strip()
        # 检查前10个token是否包含目标关键词
        generated_tokens = tokenizer.encode(generated_part, add_special_tokens=False)[:10]
        if any(token in generated_tokens for token in keyword_tokens):
            return [{"generated_text": generated_text}]
    
    # 重试失败则返回最后一次生成内容
    return [{"generated_text": generated_text}]

注意：这种方法会增加推理延迟，需根据业务需求权衡。

内容的提问来源于stack exchange，提问作者Julio María Meca Hansen