如何开发支持多格式文本、图像、结构化数据的通用RAG Pipeline

开发者阿泽

2026-6-19

多模态RAG通用问答Pipeline（适配本地LLM）

针对支持.docx/.xlsx/.pdf等多格式、含文本/图像/图表/表格的多模态RAG需求，结合本地部署的Llama 3.1 13B Instruct、Qwen2-7B-Instruct等LLM，梳理以下可落地的Pipeline：

一、文档Ingestion阶段

文档解析：用python-docx提取DOCX文本，pandas读取XLSX并转成结构化文本（如表格转markdown）
文本分块：
- 纯文本：按token分块，初始试验值：chunk size 1000-2000 tokens，chunk overlap 100-200 tokens；可根据文档语义单元调整（如按段落、章节分割）
- 表格：按单表或语义完整的多行分割，保留表头与内容的关联，避免拆分破坏数据逻辑
Embedding模型选择：
- 中文场景：本地部署BAAI/bge-large-zh-v1.5（适配中文语义，性能均衡）
- 英文/多语言场景：本地部署all-MiniLM-L6-v2或mxbai-embed-large-v1
- 注意：需与LLM的tokenizer对齐（如Llama 3使用SentencePiece，选择兼容的Embedding模型）
向量存储：用本地向量库（Chroma/FAISS）存储文本向量，同时标注元数据（来源文档、块类型：文本/表格）

文档解析：
- PDF：用pdfplumber提取文本、结构化表格；用pdf2image提取页面图像
- DOCX：用python-docx提取文本，通过文档内嵌资源提取图像
多元素结构化处理：
- 表格：转成markdown格式保留结构，同时用本地LLM生成表格的语义描述（如“该表格记录了2023年各季度营收数据，Q3营收最高”），双重存储结构化数据+语义向量
- 图像/图表：用本地多模态模型（如Qwen-VL、LLaVA-1.5）生成图像的详细文本描述（包含内容、数据趋势、关键信息），同时存储原始图像的本地路径/哈希值，用于后续直接返回图像
- 文本：同纯文本类分块处理
混合索引：建立多模态索引，文本块、表格语义描述、图像描述存向量，表格结构化数据、原始图像存关联存储（如本地文件系统+索引映射）

多模态检索策略：
- 纯文本问题（如流程查询、数据核对）：优先检索文本块、表格语义描述的向量，匹配度Top-N结果中若包含表格，同步调取结构化表格数据
- 图像/图表相关问题（如“展示XX图表”“XX图表的趋势是什么”）：检索图像描述向量，匹配成功后关联原始图像；若涉及数据查询，同步检索对应表格块
重排序：用本地部署的CrossEncoder模型（如BAAI/bge-reranker-large）对初始检索结果重排序，提升相关性精度

示例Prompt：

基于以下上下文生成100%准确的回答，不得添加任何未提及的信息：
上下文：{retrieved_context}
问题：{user_query}

当用户提问明确要求展示图像/图表（如“请展示文档中的Q3营收图表”），且检索到匹配的原始图像时，直接返回图像（需处理为可展示格式，如base64编码或本地静态资源链接）

示例Prompt：

基于以下上下文生成逻辑自洽的回答，可结合常识补充，但需符合上下文核心信息：
上下文：{retrieved_context}
问题：{user_query}

Chunk Size/Overlap：
- 纯文本：从1000 tokens（overlap 100）开始试验，若出现语义断裂则增大chunk size；若上下文重复过多则减小overlap
- 表格：按单表或完整数据段分割，overlap设为0，避免破坏数据结构
LLM选择：
- 中文场景优先Qwen2-7B-Instruct，复杂推理场景用Llama 3.1 13B Instruct
- 多模态生成需搭配本地部署的Qwen-VL/LLaVA-1.5，与文本LLM联动
Embedding模型：优先选择与LLM同语种适配的模型，保证向量语义对齐

内容的提问来源于stack exchange，提问作者happy