Apache Solr过滤特殊排版撇号应选用哪个过滤器？

这个问题我之前在项目里也碰到过——Solr里排版撇号（U+2019，即“’”）和直撇号（U+0027，即“'”）是完全不同的Unicode字符，默认不会被视为等价，所以才会出现不同输入无法匹配的情况。核心解决思路是在索引阶段和查询阶段对这些特殊字符做统一归一化处理，下面是几种实用方案，按通用性从高到低排序：

方案1：用ICUNormalizer2Filter做Unicode归一化（推荐） #

ICUNormalizer2Filter能自动将各种排版类特殊字符（包括各种撇号、连字符、全角符号等）转换为标准ASCII字符，是最通用的解决方案，适合绝大多数全文检索场景。

配置步骤： #

1. 确保Solr已引入ICU相关依赖（Solr 8+版本默认包含，低版本需手动将solr-icu-plugin-*.jar放入server/lib目录）。
2. 修改managed-schema或schema.xml中目标字段的fieldType，添加归一化过滤器：

<fieldType name="text_general" class="solr.TextField" positionIncrementGap="100">
  <analyzer type="index">
    <tokenizer class="solr.StandardTokenizerFactory"/>
    <!-- 用nfkc模式做Unicode归一化，自动转换排版撇号为直撇号 -->
    <filter class="solr.ICUNormalizer2FilterFactory" name="nfkc" mode="compose"/>
    <filter class="solr.LowerCaseFilterFactory"/>
    <!-- 保留你原有的其他过滤器... -->
  </analyzer>
  <analyzer type="query">
    <tokenizer class="solr.StandardTokenizerFactory"/>
    <!-- 查询阶段必须应用完全相同的归一化规则，否则匹配失效 -->
    <filter class="solr.ICUNormalizer2FilterFactory" name="nfkc" mode="compose"/>
    <filter class="solr.LowerCaseFilterFactory"/>
    <!-- 保留你原有的其他过滤器... -->
  </analyzer>
</fieldType>

方案2：用MappingCharFilter精准替换撇号 #

如果只需要处理撇号，不需要其他Unicode归一化，可以用MappingCharFilterFactory做精准字符映射，更轻量。

配置步骤： #

1. 在Solr的conf目录下创建char_mappings.txt文件，写入映射规则：

# 将排版撇号（’）替换为直撇号（'）
’ => '
# 可选：如果需要支持无撇号匹配，可追加把撇号映射为空（注意可能影响其他场景）
# ' => 
# ’ => 

2. 修改fieldType的分析器，将字符过滤器放在分词器之前：

<fieldType name="text_general" class="solr.TextField" positionIncrementGap="100">
  <analyzer type="index">
    <charFilter class="solr.MappingCharFilterFactory" mapping="char_mappings.txt"/>
    <tokenizer class="solr.StandardTokenizerFactory"/>
    <filter class="solr.LowerCaseFilterFactory"/>
    <!-- 保留你原有的其他过滤器... -->
  </analyzer>
  <analyzer type="query">
    <charFilter class="solr.MappingCharFilterFactory" mapping="char_mappings.txt"/>
    <tokenizer class="solr.StandardTokenizerFactory"/>
    <filter class="solr.LowerCaseFilterFactory"/>
    <!-- 保留你原有的其他过滤器... -->
  </analyzer>
</fieldType>

方案3：同义词匹配（适合特定词汇场景） #

如果业务中只有少数特定词汇需要支持无撇号匹配（比如Plato’s ↔ Platos），可以结合同义词过滤器补充：

1. 创建synonyms.txt文件，添加词汇映射：

Plato’s, Plato's, Platos

2. 在fieldType中添加同义词过滤器：

<filter class="solr.SynonymGraphFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/>

注意：这个方案仅适合词汇量少的场景，通用场景还是推荐前两种归一化方案。

关键注意事项 #

• 索引与查询的分析器必须完全一致：如果索引时做了字符替换/归一化，查询时必须应用相同规则，否则无法匹配。
• 修改配置后需重新索引：所有已有数据需要重新索引，新的字符处理规则才能生效。

内容的提问来源于stack exchange，提问作者kouign_amann