Elasticsearch如何基于单一字段去除查询重复结果？

可以通过Elasticsearch的**collapse折叠功能**实现基于url字段的去重，保留每个url对应的最新记录（匹配你按timestamp倒序的需求）。

核心原理 #

collapse允许根据指定字段对查询结果分组，每个分组仅返回排序后的顶部匹配文档。需要注意：用来折叠的字段必须是keyword类型（或带有keyword子字段），如果你的url字段是text类型，需改用url.keyword（默认mapping通常会自动生成该子字段）。

修改后的查询参数 #

在原查询中添加collapse配置，代码如下：

$params_json = '
{
    "body": {
        "sort" : [
            {"timestamp" : 
                {"order" : "desc", "format": "strict_date_optional_time_nanos"}
            }
        ],
        "size" : 100,
        "collapse": {
            "field": "url"  // 若url为text类型，替换为"url.keyword"
        },
        "query": {
            "bool" : {
                "must" : {
                    "match" : { "user_id" : '.$this->user_id.' }
                },
                "must_not": {
                    "match" : { "controller": "History" }
                }
            }
        }
    }
}
';

效果说明 #

添加collapse后，Elasticsearch会自动将相同url的记录分组，每个分组仅返回排序后的第一条记录（即时间最新的那条），彻底过滤同url的重复项。

额外提示 #

• 若需要获取每个url分组的多条记录，可搭配inner_hits参数扩展，但你的场景用基础collapse即可满足需求。
• 若url字段没有keyword子字段，需修改索引mapping添加该配置，确保字段支持折叠操作。

内容的提问来源于stack exchange，提问作者Austin Poulson