寻求无标注数据集下API参数提取的轻量化模型及Few-shot技巧

一、兼容Ollama的轻量快速模型 #

• Phi-3 Mini (3.8B)：Ollama直接支持，拉取命令ollama pull phi3。量化后仅需4-8G显存，本地推理速度比LLaMA 3.1/Mistral快2-3倍，对结构化文本提取的精度足够覆盖API参数场景。
• Qwen2-1.5B-Instruct：字节的轻量模型，Ollama镜像可用，参数更小（1.5B），速度极快，适合批量处理API文档片段。
• Zephyr-7B-beta (4-bit量化)：如果需要稍强的理解能力，可选4-bit量化版，Ollama上运行速度优于全量Mistral，对自然语言描述的API参数识别更准确。

二、无标注数据集的传统NLP方法 #

1. 规则+正则表达式 #

API文档有强结构化特征，直接用规则匹配效率最高：

• 授权头：匹配包含Authorization、Bearer、API Key的行，用正则Authorization:\s*(.*)提取值。
• 查询参数：定位Query Parameters/Query Params章节标题，提取下方的列表项（通常以-或*开头），拆分参数名、类型、描述。
• 请求体字段：定位Request Body/Payload章节，匹配JSON schema或字段定义行，用正则提取字段名和类型。

2. Spacy规则匹配器 #

用Spacy的Matcher自定义规则模式，示例代码：

import spacy
from spacy.matcher import Matcher

nlp = spacy.load("en_core_web_sm")
matcher = Matcher(nlp.vocab)

# 匹配授权头模式
auth_pattern = [{"LOWER": "authorization"}, {"IS_PUNCT": True}, {"TEXT": {"REGEX": "Bearer.*|API_KEY.*"}}]
matcher.add("AUTH_HEADER", [auth_pattern])

doc = nlp(api_doc_text)
matches = matcher(doc)
for match_id, start, end in matches:
    span = doc[start:end]
    print("Authorization Header:", span.text)

3. 远程监督+CRFs #

利用公开的OpenAPI/Swagger文档（比如GitHub上的开源API定义）自动生成标注数据：

• 解析OpenAPI的securitySchemes、parameters、requestBody字段，对应到Authorization headers、query params、请求体字段。
• 用这些自动标注的数据训练CRF模型，无需手动标注，适合处理非标准化文档场景。

三、Few-shot提示词高效使用技巧 #

1. 示例贴近真实场景：选取和目标API文档风格一致的片段作为示例，比如包含章节标题、参数定义的真实文档，不要用虚构内容。
2. 控制示例数量：2-3个示例足够，过多会增加推理时间且不会显著提升精度。
3. 明确输出格式：强制模型用固定格式输出，比如：

要求：仅提取Authorization headers、query params、请求体字段，用Markdown列表输出，无对应项则写“无”。
示例输入：

POST /api/orders
Headers:
- Authorization: API_KEY {your-key}
Query Params:
- status (enum: pending/paid): 订单状态
Request Body:
{
  "amount": number,
  "customer_id": string
}

示例输出：

• Authorization headers: API_KEY {your-key}
• Query params: status (enum: pending/paid)
• 请求体字段: amount (number), customer_id (string)

4. 加入约束条件：比如“忽略无关的文档内容（如返回值、错误码）”“仅提取参数名和类型，不要描述”，避免模型输出冗余信息。

内容的提问来源于stack exchange，提问作者Rukhma