使用LlamaIndex构建PDF聊天机器人未返回全部匹配结果的问题排查

核心问题分析 #

你遇到的情况大概率是默认检索配置限制了返回结果数量，或者文本分块/检索策略导致相关内容未被召回。

具体调整方案 #

1. 增大检索返回的节点数量 #

默认情况下，LlamaIndex的向量检索器similarity_top_k参数值为2，只会返回最相关的2个分块。修改这个参数，让检索器返回更多匹配节点：

# 初始化检索器时设置更大的top_k值
retriever = index.as_retriever(similarity_top_k=10)
# 用该检索器构建查询引擎
query_engine = index.as_query_engine(retriever=retriever)

2. 优化文本分块策略 #

如果PDF中Fashion相关体验分散在多个小分块里，默认分块可能导致部分相关内容未被检索到。自定义分块规则，确保相关内容被合理划分：

from llama_index.core.node_parser import SentenceSplitter

# 调整分块大小和重叠度，根据PDF内容调整数值
splitter = SentenceSplitter(chunk_size=1000, chunk_overlap=200)
# 重新生成节点并构建索引
nodes = splitter.get_nodes_from_documents(documents)
index = VectorStoreIndex(nodes)

3. 使用混合检索提升召回率 #

单一的向量检索可能漏召回部分关键词匹配的内容，结合向量检索和关键词检索的混合模式能覆盖更多场景：

from llama_index.core.retrievers import HybridRetriever, KeywordTableRetriever

# 初始化两种检索器
vector_retriever = index.as_retriever(similarity_top_k=10)
keyword_retriever = KeywordTableRetriever(index=index, similarity_top_k=10)
# 组合成混合检索器
hybrid_retriever = HybridRetriever(retrievers=[vector_retriever, keyword_retriever])
# 构建查询引擎
query_engine = index.as_query_engine(retriever=hybrid_retriever)

4. 明确查询指令 #

在提问时明确要求返回所有相关结果，比如将查询改为："请列出文档中所有与Fashion相关的体验，不要遗漏任何一条"，避免模型默认只返回部分结果。

5. 验证索引完整性 #

检查PDF是否被完整加载，打印分块数量确认所有内容都被索引：

print(f"总索引分块数: {len(nodes)}")

内容的提问来源于stack exchange，提问作者junaidp