如何用C# ISearchResponse在Elasticsearch中跨双索引筛选目标用户

我正在使用Elasticsearch的C#客户端ISearchResponse进行搜索，希望通过一次搜索获取两个索引的结果。具体需求为：找出"user"索引中，其doc.Users_Email字段在"mail"索引的doc.SentMail_Recipients.recipients_email字段中出现次数超过x次的所有用户。

现有基础搜索代码示例：

public List<string> Example()
{
    ISearchResponse<object> result = _mainManager.Client.Search<object>(q => q
        .Index(ElasticIndex.User.ToString().ToLower())
         .Query(c => c.Term("example"))
         .Size(10000));
    return _mainManager.GetIdsListResult(result);
}

我尝试了如下代码，但仍需确认正确实现方式：

ISearchResponse<object> result = _mainManager.Client.Search<object>(q => q
       .Index(new[] { "user", "mail" })
       .Size(3000)
       .Query(q1 => q1
           .Nested(n => n
               .Path("doc")
               .Query(q2 => q2
                   .Terms(t => t
                       .Field("doc.Users_Email")
                   )
               )
           )
       )
       .Aggregations(a => a
           .Nested("docs", n => n
               .Path("doc")
               .Aggregations(a1 => a1
                   .Terms("mails", t => t
                       .Field("doc.SentMail_Recipients.recipients_email")
                       .MinimumDocumentCount(10) // Set x as the minimum doc count
                   )
               )
           )
       )
   );

List<string> userIds = _mainManager.GetIdsListResult(result);

请问该如何正确实现这一需求？

问题分析 #

你当前的代码存在几个关键问题：

• 同时搜索两个索引但未区分索引类型，导致查询和聚合逻辑同时作用于user和mail索引，结果混乱。
• Terms查询未指定匹配目标值，无法关联两个索引的邮箱字段。
• 聚合仅统计了mail索引的邮箱出现次数，但未将结果关联回user索引筛选符合条件的用户。

正确实现方案 #

要实现该需求，有两种可行路径，分两次请求的方式逻辑更清晰，推荐优先使用：

方式一：分两次请求（逻辑清晰，易维护） #

先在mail索引中聚合出出现次数超过x次的邮箱列表，再用该列表在user索引中查询匹配用户：

// 第一步：统计mail索引中出现次数超过x次的邮箱
var mailAggResponse = _mainManager.Client.Search<object>(s => s
    .Index("mail")
    .Size(0) // 仅需聚合结果，无需返回文档
    .Aggregations(a => a
        .Nested("nested_recipients", n => n
            .Path("doc.SentMail_Recipients")
            .Aggregations(aa => aa
                .Terms("email_counts", t => t
                    .Field("doc.SentMail_Recipients.recipients_email")
                    .MinimumDocumentCount(x) // x为设定的次数阈值
                )
            )
        )
    )
);

// 提取符合条件的邮箱列表
var eligibleEmails = mailAggResponse.Aggregations
    .Nested("nested_recipients")
    .Terms("email_counts")
    .Buckets.Select(b => b.Key.ToString())
    .ToList();

// 第二步：在user索引中查询匹配的用户
var userResponse = _mainManager.Client.Search<object>(s => s
    .Index("user")
    .Size(10000)
    .Query(q => q
        .Nested(n => n
            .Path("doc")
            .Query(qn => qn
                .Terms(t => t
                    .Field("doc.Users_Email")
                    .Terms(eligibleEmails)
                )
            )
        )
    )
);

List<string> userIds = _mainManager.GetIdsListResult(userResponse);

方式二：一次请求（使用Terms Lookup） #

若必须单次请求完成，可利用Elasticsearch的Terms Lookup功能，直接在user索引查询中引用mail索引的聚合结果：

var response = _mainManager.Client.Search<object>(s => s
    .Index("user")
    .Size(10000)
    .Query(q => q
        .Nested(n => n
            .Path("doc")
            .Query(qn => qn
                .Terms(t => t
                    .Field("doc.Users_Email")
                    .Lookup(l => l
                        .Index("mail")
                        .Path("doc.SentMail_Recipients.recipients_email")
                        .Id("*") // 匹配所有mail文档
                        .Filter(f => f
                            .Nested(fn => fn
                                .Path("doc.SentMail_Recipients")
                                .Query(fq => fq.MatchAll())
                            )
                        )
                        .Size(10000) // 确保获取所有符合条件的邮箱
                    )
                    .MinimumMatch(1)
                )
            )
        )
    )
);

List<string> userIds = _mainManager.GetIdsListResult(response);

注意事项 #

• 若mail索引数据量极大，单次聚合可能存在性能问题，建议合理设置分片、路由，或使用分页聚合。
• 确保doc.SentMail_Recipients为嵌套（nested）类型，否则聚合时会因数组扁平化导致统计错误。

内容的提问来源于stack exchange，提问作者Aviel Palgi