如何从两个不同的Elasticsearch索引中获取关联数据？

为什么foreach处理器无法实现需求 #

foreach是ES Ingest Pipeline的内置处理器，仅用于处理单条文档内部的数组字段遍历，本身不支持跨索引拉取数据，因此无法满足你的关联查询需求，可采用以下几种成熟方案实现：

方案1：Terms Lookup 原生关联查询（首推，单次请求完成） #

ES 原生支持跨索引的Terms Lookup查询，可以将第一个索引的查询结果字段作为条件，直接拉取第二个索引的关联数据，无需在业务侧做多次请求。

适用场景 #

关联逻辑简单，关联字段为keyword类型，无复杂数据拼接需求。

示例代码 #

假设第一个索引为order（订单索引，关联字段为user_id），第二个索引为user（用户索引，关联字段为user_id），查询语法如下：

# 先查order索引，同时拉取对应user的关联信息
GET order/_search
{
  "query": {
    "match_all": {} // 此处替换为order索引的实际查询条件
  },
  "runtime_mappings": {
    "related_user_info": {
      "type": "object",
      "script": {
        "source": """
          def user_id = doc['user_id'].value;
          // 跨索引查询user的匹配数据
          def search_resp = params._indices.get('user/_search', [
            "query": ["term": ["user_id.keyword": user_id]],
            "size": 1
          ]);
          if(search_resp.hits.hits.length > 0) {
            emit(search_resp.hits.hits[0].source);
          }
        """
      }
    }
  },
  "fields": ["*", "related_user_info"] // 指定返回字段包含关联信息
}

方案2：业务侧两次查询拼接（兼容性最高，无场景限制） #

如果关联逻辑复杂，或ES版本不支持runtime field跨索引查询，可以采用业务侧两次查询的方式实现，避免N+1查询性能问题：

• 第一步：发送请求查询第一个索引，提取所有结果的关联字段值，存入数组
• 第二步：用terms查询批量查询第二个索引，传入第一步得到的关联字段数组
• 第三步：在业务代码中遍历两个结果集，完成关联数据拼接

示例代码 #

# 第一步：查询第一个索引
GET order/_search
{
  "query": { "match_all": {} },
  "size": 100
}

# 第二步：批量查询关联的第二个索引数据
GET user/_search
{
  "query": {
    "terms": {
      "user_id.keyword": ["1001", "1002", "1003"] // 替换为第一步提取的user_id数组
    }
  },
  "size": 100
}

方案3：父子文档关联（仅限同分片场景） #

如果两个索引的关联数据满足父文档和子文档必须存储在同一个分片的要求，可以将两类数据存入同一个索引，用join字段定义关联关系，直接用ES原生的父子查询实现关联拉取。该方案扩展性较差，仅适合小数据量、关联关系固定的场景。

内容的提问来源于stack exchange，提问作者Pedro Rabbi