使用OpenAI结构化输出时，单/少样本提示的示例格式规范与最佳实践

问题描述 #

在使用OpenAI的结构化输出功能时，针对单样本（one-shot）或少样本（few-shot）提示，示例的格式化规则是什么？具体需要明确：示例是否必须遵循解析前的结构化输出JSON格式？

以下是官方给出的单样本提示Python代码示例：

from pydantic import BaseModel
from openai import OpenAI

client = OpenAI()

class CalendarEvent(BaseModel):
    name: str
    date: str
    participants: list[str]

completion = client.beta.chat.completions.parse(
    model="gpt-4o-2024-08-06",
    messages=[
        {"role": "system", "content": "Extract the event information."},
        {"role": "system", "content": "Alice and Bob are going to a science fair on Friday."},
        {"role": "system", "content": '{"name":"Science Fair","date":"Friday","participants":["Alice","Bob"]}'},
        {"role": "user", "content": "Charlie is going to a concert on Saturday night."},
    ],
    response_format=CalendarEvent,
)

event = completion.choices[0].message.parsed

在该示例中，输入文本Alice and Bob are going to a science fair on Friday.对应的示例输出为JSON格式：{"name":"Science Fair","date":"Friday","participants":["Alice","Bob"]}

现咨询：示例是否必须采用此类JSON格式，还是可使用其他格式？相关最佳实践是什么？

解答 #

1. 示例是否必须使用JSON格式？ #

不是必须，但推荐优先使用与目标结构化输出一致的格式。你可以尝试其他格式，但需要确保模型能够准确理解并映射到你指定的输出结构上。

2. 可替代的格式及适用场景 #

• 键值对格式：比如名称: 科学展，日期: 周五，参与者: Alice、Bob，适合结构简单、字段明确的场景，模型通常能理解这种表述，但要注意表述的一致性，避免歧义。
• 自然语言结构化描述：比如“这个活动的名称是科学展，举办日期是周五，参与者包括Alice和Bob”，仅适用于极简单的结构，风险较高，模型可能输出不符合要求的内容。

3. 最佳实践 #

• 优先匹配目标输出格式：当你通过response_format指定了Pydantic模型或JSON Schema时，使用JSON格式的示例能让模型最清晰地理解输出的字段、类型和结构，大幅降低解析错误的概率。
• 保持格式一致性：所有少样本示例统一使用同一种格式，不要混合多种格式，避免模型产生混淆。
• 复杂结构必须用JSON：如果目标输出包含嵌套对象、数组等复杂结构，JSON的明确性是其他格式无法替代的，必须使用JSON示例来确保模型对齐。
• 测试验证效果：如果尝试简化格式，先进行小范围测试，确认模型输出能被正确解析后再大规模使用。
• 系统提示强化约束：在系统提示中明确说明“请按照示例的JSON格式输出”，进一步规范模型的输出行为。

内容的提问来源于stack exchange，提问作者yoyoog