如何去除日语查询的否定语义并基于TF-IDF提取有效关键词？

一、优化GPT-3.5 Turbo的Prompt设计 #

之前效果不佳大概率是Prompt不够精准，直接调整成以下风格：

• 明确任务边界：要求模型只输出处理后的查询文本+被排除关键词列表，不许加额外解释
• 补充多组日语否定场景示例，覆盖不同否定表达：

  输入：NISAを除いてリストを見せ
  输出：处理后查询：リストを見せ；排除关键词：[NISA]
  输入：株式以外の投資商品を教えて
  输出：处理后查询：投資商品を教えて；排除关键词：[株式]
  输入：高リスクの商品は含めないでください
  输出：处理后查询：商品を教えて；排除关键词：[高リスク]

• 强制格式约束：让模型严格按示例格式输出，避免发散

二、用日语NLP工具做规则增强 #

纯大模型稳定性不足，结合规则和NLP工具兜底：

• 用MeCab+依存句法分析工具（比如Cabaret）定位否定关系：
  1. 分词后标记词性，快速找到「ない」「除いて」「以外」这类否定触发词
  2. 通过依存分析找到否定词修饰的核心名词/短语，作为待排除关键词
  3. 删掉原查询里的否定结构和被否定关键词，生成干净的查询文本
• 预定义否定词库：整理「除く」「除外」「禁じる」「～ない」「～以外」等常见否定表达，匹配后直接提取关联关键词

三、适配TF-IDF搜索流程 #

处理后的结果要和现有TF-IDF流程整合：

• 用清理后的查询文本生成TF-IDF特征，做初始检索
• 利用倒排索引快速定位包含排除关键词的文档，从结果集中直接移除
• 多排除关键词的场景，实现多ID集合的交集过滤

四、混合方案落地流程 #

1. 先过规则引擎：匹配到词库否定词就直接处理，输出结果
2. 规则搞不定的复杂场景（比如隐含否定、间接否定），再调用优化后的GPT-3.5 Turbo
3. 加一层校验：检查大模型输出是否符合要求，不符合就回退到规则或人工修正（可选）

内容的提问来源于stack exchange，提问作者SIDDHARTH Gulati