Elasticsearch检索含§特殊字符的PDF内容配置咨询

你在将PDF文件索引到Elasticsearch后，检索“§ 123”这类包含特殊字符的内容时，“§”会被忽略，核心原因是默认的文本分析器会过滤或拆分这类特殊符号。以下是针对性的配置调整方案：

1. 新增支持保留特殊符号的自定义分析器 #

修改你的索引创建代码，添加一个专门处理含特殊符号文本的自定义分析器。这里复用你已定义的ngram_tokenizer（它已配置包含TokenChar.Symbol，能保留§这类符号），配合必要的过滤器：

CreateIndexResponse createIndexResponse = elasticClient.Indices.Create(sep.DefaultIndex, c => c
    .Settings(s => s
        .Analysis(a => a
            .Analyzers(ad => ad
                .Custom("windows_path_hierarchy_analyzer", ca => ca
                    .Tokenizer("windows_path_hierarchy_tokenizer")
                )
                // 添加支持特殊符号的自定义分析器
                .Custom("symbol_aware_analyzer", ca => ca
                    .Tokenizer("ngram_tokenizer")
                    .Filters("lowercase") // 可选，根据业务需求决定是否启用小写转换
                )
            )
            .Tokenizers(t => t
                .PathHierarchy("windows_path_hierarchy_tokenizer", ph => ph
                    .Delimiter('\\')
                )
                .NGram("ngram_tokenizer", td => td
                    .MinGram(2)
                    .MaxGram(20)
                    .TokenChars(
                        TokenChar.Letter,
                        TokenChar.Digit,
                        TokenChar.Symbol)
                )
            )
        )
    )
    .Map<ElasticDocument>(mp => mp
        .AutoMap()
        .Properties(ps => ps
            .Text(s => s
                .Name(n => n.Path)
                .Analyzer("windows_path_hierarchy_analyzer")
            )
            .Object<Attachment>(a => a
                .Name(n => n.Attachment)
                .AutoMap()
                // 覆盖content字段的默认分析器配置
                .Properties(ap => ap
                    .Text(t => t
                        .Name("content")
                        .Analyzer("symbol_aware_analyzer")
                        .Fields(f => f
                            .Keyword(k => k
                                .Name("keyword")
                                .IgnoreAbove(256)
                            )
                        )
                    )
                )
            )
        )
    )
);

2. 验证映射配置 #

修改后的attachment.content字段映射会使用新的分析器，最终映射结构关键部分如下：

{
  "attachments": {
    "mappings": {
      "properties": {
        "attachment": {
          "properties": {
            "content": {
              "type": "text",
              "analyzer": "symbol_aware_analyzer",
              "fields": {
                "keyword": {
                  "type": "keyword",
                  "ignore_above": 256
                }
              }
            }
            // 其他字段配置保持不变
          }
        }
        // 其他顶级字段配置保持不变
      }
    }
  }
}

3. 重新索引数据 #

由于分析器配置变更，已索引的PDF文档需要重新导入Elasticsearch，确保新的分析规则应用到所有文档内容上。

补充说明 #

• 如果需要精确匹配“§ 123”这类完整内容，可以直接使用content.keyword字段进行检索，但该字段仅支持整段精确匹配，适合短文本场景。
• 自定义分析器结合ngram分词，既保留了特殊符号，又支持部分内容的模糊匹配，更适合长文本PDF内容的检索需求。

内容的提问来源于stack exchange，提问作者Frank Mehlhop