PDF转纯文本及Azure Cognitive Search建索引最佳实践咨询

一、PDF转纯文本核心注意事项 #

• 保留语义结构，别盲目删换行：原PDF里的段落空行、列表换行是区分内容块的关键，你当前代码把所有\n删掉会导致不同段落/条款混在一起，严重影响后续搜索的语义召回。应该只删除行内的换行（比如一句话被拆成多行的情况），保留段落之间的空行。
• 非文本元素特殊处理：遇到图标、表格时，不要直接丢弃或留乱码。图标可以用[图标：XX说明]这类描述性文字替代；表格要转成清晰的文本结构（比如用换行分隔行，用空格分隔列），确保表格内的关键信息能被搜索到。
• 精准处理标点与空格：中文里句末标点不止句号，要把！？；。这些都处理成“标点+换行”，保证句子拆分完整；不要全删空格，区分全角空格（可删）和半角空格（比如英文术语里的空格，要保留，避免“Azure OpenAI”变成“AzureOpenAI”）。
• 验证转译质量：转完文本后抽查关键章节，确认条款编号、标题、核心内容没有丢失或乱码，尤其是扫描版PDF（需用OCR工具先转成可编辑文本）。

二、Azure Cognitive Search创建索引最佳实践 #

• 合理设计索引字段：除了存储文本的content字段，还要添加title（文档标题）、source（来源文件）、category（手册章节分类）等元数据字段，方便后续搜索时过滤、排序，提升召回精准度。
• 配置中文专用分析器：默认分析器不适合中文分词，创建索引时指定lucene.zh分析器，能大幅提升中文关键词、短语的搜索匹配效果。
• 利用内置技能集优化解析：如果直接用Cognitive Search处理PDF，启用Document Extraction技能，开启OCR处理扫描版PDF，同时配置Layout Detection提取标题、段落、列表的结构，替代手动转文本的部分工作。
• 拆分大文档：如果公司手册页数多，把文档拆成按章节/段落的小块（比如每1000字一个文档块），避免单个文档过大导致搜索时无法精准定位内容。
• 设置增量索引更新：配置Blob Storage的触发器，当文件更新时自动触发索引增量更新，避免重复全量索引，同时保证索引内容和源文件同步。
• 测试语义搜索：开启Semantic Search功能，用自然语言查询测试召回结果，调整索引的语义配置，让机器人能更好理解用户的提问意图。

三、你的预处理代码优化建议 #

当前代码的问题在于过度删除结构信息，修改后的代码可以这样调整：

def preprocessing_text(text_path):
    with open(text_path, 'r', encoding='utf-8') as file:
        content = file.read()
    
    # 只删除行内换行（连续两个\n是段落分隔，保留）
    content = content.replace('\n\n', '|||')  # 先标记段落分隔
    content = content.replace('\n', '')
    content = content.replace('|||', '\n\n')
    
    # 处理所有中文句末标点，添加换行
    import re
    content = re.sub(r'([！？；。])', r'\1\n', content)
    
    # 只删除全角空格，保留半角空格
    content = content.replace('　', '')

    with open(text_path, 'w', encoding='utf-8') as file:
        file.write(content)

• 用临时标记保留段落分隔，避免不同段落混在一起
• 用正则处理所有中文句末标点，确保句子拆分完整
• 区分全角/半角空格，只清理无意义的全角空格

内容的提问来源于stack exchange，提问作者ken iwa