求实现智能选择数据库/PDF检索源的统一Chatbot决策功能的方案

一、关键词规则引擎方案 #

• 给两个数据源分别建立专属关键词标签库：数据库关联「实时数据」「用户信息」「交易记录」「统计指标」这类偏向结构化、实时性的关键词；PDF关联「文档内容」「历史报告」「政策手册」「技术规范」这类偏向非结构化、静态文档的关键词。
• 对用户提问做分词处理，提取核心关键词后匹配标签库，匹配度最高的数据源优先被选择。比如用户问「上个月的会员续费总额」，提取「续费总额」「会员」，匹配数据库标签，就走数据库检索；问「这份设备操作手册里的安全注意事项」，提取「操作手册」，匹配PDF标签，就走PDF检索。
• 可设置优先级规则，比如同时匹配到两类标签时，根据业务需求优先选数据库（如需要实时数据）或PDF（如需要权威文档内容）。

二、轻量文本分类模型方案 #

• 用预训练的轻量级文本分类模型（如DistilBERT），将用户提问分为「数据库查询类」和「PDF文档查询类」两个类别。
• 自行制作训练数据集：收集一批数据库相关的典型问题（如「最近7天的新增用户数」）和PDF相关的典型问题（如「产品白皮书里的核心功能说明」），标注后对模型进行微调。
• 模型输出分类概率，比如概率阈值设为0.7，高于阈值则选择对应数据源；低于阈值的模糊场景，可同时调用两个数据源合并结果，或询问用户明确需求。

三、数据源元数据匹配方案 #

• 先整理两个数据源的元数据清单：数据库侧记录表名、字段名、数据类型、业务描述；PDF侧记录文档标题、目录、摘要、核心关键词。
• 对用户提问做语义检索，分别与数据库元数据、PDF元数据做匹配，选取匹配度更高的数据源。比如用户问「用户的首次下单时间」，匹配数据库的「订单表-首次下单时间字段」，匹配度远高于PDF，就选数据库；问「2023年公司的合规政策细节」，匹配PDF文档的「2023合规政策报告」摘要，就选PDF。

四、兜底与迭代机制 #

• 当以上方法无法明确判断时，可同时调用两个数据源，将结果整合后返回；或直接询问用户「你需要查询实时数据还是文档内容？」
• 记录每一次的用户提问、决策结果和用户反馈，定期更新关键词库或训练数据集，让决策逻辑逐步优化。

流程示例 #

用户提问 --> 关键词提取/语义分析/元数据匹配 --> 选择数据库或PDF检索 --> 返回结果

内容的提问来源于stack exchange，提问作者PJR