如何在Solr中查找text_1与text_2字段重复但ID不同的文档？

嗨，我来帮你搞定这个需求！首先得说，你之前尝试的facet功能确实不太适合这个场景——它只能返回各字段的重复计数，没法直接拿到具体的文档id，而且多字段facet是分别统计每个字段的独立分布，不会帮你计算text_1和text_2同时重复的组合情况，所以咱们换个更合适的方法。

方法一：使用Solr分组（Grouping）功能 #

分组是最直接的解决方案，它能按指定字段的组合将文档分组，然后筛选出包含多个文档的组（也就是重复的组合），同时返回组内的所有文档id。

你可以构造这样的查询参数：

q=*:*
&group=true
&group.field=text_1
&group.field=text_2
&group.limit=-1
&group.ngroups=true
&fq={!frange l=2}grouped()

参数解释：

• group=true：开启分组功能
• group.field=text_1 和 group.field=text_2：指定按这两个字段的组合进行分组
• group.limit=-1：返回每个分组内的所有文档（默认只返回1条）
• group.ngroups=true：可选，返回符合条件的总组数
• fq={!frange l=2}grouped()：过滤出分组内文档数量≥2的组，也就是只保留有重复的组合

执行这个查询后，你就能看到每个重复组合下的所有文档id，完全符合你的需求。

方法二：使用Streaming Expressions（适合Solr 6.0+） #

如果你的Solr版本支持Streaming Expressions，也可以用更简洁的语法实现，它类似SQL的group by + having逻辑：

search(
  your_collection_name,
  q="*:*",
  group="text_1,text_2",
  having="count(*)>1",
  fl="id,text_1,text_2"
)

这个表达式会直接返回所有满足「text_1和text_2重复且组内文档数>1」的文档，字段包含id、text_1和text_2，非常直观。

注意事项 #

• 确保你的text_1和text_2字段是不分词的字符串类型（比如schema里定义为string类型，或者text类型但设置了indexed=false/tokenized=false）。如果是分词后的文本字段，分组会按分词后的词进行，无法准确匹配完整字段值的重复。
• 如果数据量很大，分组查询可能会消耗较多资源，建议结合fq先缩小查询范围（比如指定时间范围等），提升效率。

内容的提问来源于stack exchange，提问作者Ryncops