如何用Solr分面统计带分析链的多值字段关联重复BI报告数量

嘿，这个需求我刚好处理过类似的——用Solr统计多值字段对应的重复文档数，尤其是涉及分析链的时候，确实得注意字段配置的细节，不然分面结果会和预期差很多。我给你一步步梳理下：

1. 先理清分析链对分面的影响 #

你提到的分词、小写转换这些分析链，会直接改变字段的索引值。举个例子：如果你的字段sql_columns配置了分词器，原始值user_id,order_amount可能会被拆成两个独立的索引项；如果有小写转换，User_ID会被转成user_id。

所以首先要明确你的统计目标：

• 要是想基于原始的多值项（没经过分析处理）统计，那得给这个字段建一个不分析的副本字段——因为用带分析的字段分面，得到的会是拆分/转换后的结果，不是你要的原始SQL列元数据。
• 要是想基于标准化后的值统计（比如把User_ID和user_id视为同一个列），那可以直接用带对应分析链的字段，但得确保分析规则符合你的业务预期。

2. 配置适合分面的字段（核心步骤） #

假设你的原字段是sql_columns（多值、带分析链），我们来配置分面专用字段：

场景1：基于原始多值项统计 #

在schema.xml或managed-schema里添加一个副本字段，设置为string类型（不做任何分析）：

<!-- 原字段，带业务需要的分析链 -->
<field name="sql_columns" type="text_general" multiValued="true" stored="true"/>
<!-- 分面专用副本字段：不分析，只索引原始值 -->
<field name="sql_columns_facet" type="string" multiValued="true" indexed="true" stored="false"/>
<!-- 把原字段的值复制到分面字段 -->
<copyField source="sql_columns" dest="sql_columns_facet"/>

string类型会原样存储多值项，不会做分词、大小写转换，保证分面结果是你原始的SQL列元数据。

场景2：基于标准化值统计 #

如果希望统一大小写或者做其他标准化处理，就给分面字段配置对应的分析链。比如只转小写、不拆分的字段类型：

<fieldType name="text_lowercase" class="solr.TextField">
  <analyzer>
    <tokenizer class="solr.KeywordTokenizerFactory"/> <!-- 不拆分，保留整个列名 -->
    <filter class="solr.LowerCaseFilterFactory"/> <!-- 统一转小写 -->
  </analyzer>
</fieldType>

然后把sql_columns_facet的类型设为text_lowercase，这样所有列名都会被标准化，分面时会把语义相同的列合并统计。

3. 用分面查询统计重复文档数 #

配置好字段后，就可以发起Solr查询来统计每个SQL列对应的BI报告数量了。

基础统计：每个列对应的报告数 #

发送GET请求到Solr查询接口，参数如下：

q=*:*
&facet=true
&facet.field=sql_columns_facet  <!-- 指定我们的分面字段 -->
&facet.mincount=1  <!-- 只显示有报告用到的列 -->
&rows=0  <!-- 不需要返回具体报告，只看统计结果 -->

返回结果里的facet_counts -> facet_fields会列出每个列值，以及对应的文档数（也就是用到该列的BI报告数量）。

进阶统计：多个列共同出现的报告数 #

如果你需要统计同时用到某几个列的报告数量，可以用透视分面facet.pivot：

q=*:*
&facet=true
&facet.pivot=sql_columns_facet
&rows=0

不过如果只是统计单个列的重复报告数，基础分面就足够了。

4. 避坑提醒 #

• 改完字段配置后，一定要重新索引所有存量文档，不然副本字段里没有数据，分面会出空结果。
• 如果你的SQL列基数很大（比如上万个不同列），可以加facet.method=fc启用字段缓存提升性能，或者用facet.limit限制返回的项数。
• 分面是基于索引值的，所以分面字段不需要设置stored="true"，不然只会浪费存储空间。

内容的提问来源于stack exchange，提问作者racsan308