如何在Elasticsearch中获取医生下属每位患者的最新就诊记录？

问题背景 #

你需要获取指定医生下属每位患者的最新就诊记录，但当前的聚合查询只返回了全局最新的一条记录，而非每个患者各自的最新记录。

示例数据 #

[
  {
    "doctor_id":"abcd",
    "patient_id":"pat1",
    "created_date":"2022-08-30T15:26:19.171Z",
    "patient_data":"some data belongs to patient"
  },
  {
    "doctor_id":"abcd",
    "patient_id":"pat1",
    "created_date":"2022-08-29T15:26:19.171Z",
    "patient_data":"some data belongs to patient"
  },
  {
    "doctor_id":"abcd",
    "patient_id":"pat2",
    "created_date":"2022-08-30T15:26:19.171Z",
    "patient_data":"some data belongs to patient"
  },
  {
    "doctor_id":"abcd",
    "patient_id":"pat2",
    "created_date":"2022-08-29T15:26:19.171Z",
    "patient_data":"some data belongs to patient"
  }
]

期望结果 #

[
  {
    "doctor_id":"abcd",
    "patient_id":"pat1",
    "created_date":"2022-08-30T15:26:19.171Z",
    "patient_data":"some data belongs to patient"
  },
  {
    "doctor_id":"abcd",
    "patient_id":"pat2",
    "created_date":"2022-08-30T15:26:19.171Z",
    "patient_data":"some data belongs to patient"
  }
]

当前错误查询 #

{
  "query":{
    "bool": {
      "must": [
        {
          "term": {
            "doctor_id.keyword": "abcd"
          }
        }
      ]
    }
  },
  "aggs": {
    "latest_created_date": {
      "top_hits": {
        "sort": [
          {
            "created_date": {
              "order": "desc"
            }
          }
        ],
        "size": 1
      }
    }
  }
}

问题根源：这个查询没有按患者ID分组，top_hits聚合直接在所有符合条件的文档中取了全局最新的一条，自然无法返回每个患者的最新记录。

解决方案 #

要实现需求，需先按patient_id.keyword做分组聚合，再在每个患者的分组内提取最新记录。修改后的查询如下：

{
  "query": {
    "bool": {
      "must": [
        {
          "term": {
            "doctor_id.keyword": "abcd"
          }
        }
      ]
    }
  },
  "aggs": {
    "group_by_patient": {
      "terms": {
        "field": "patient_id.keyword",
        "size": 1000  // 根据实际患者数量调整该值，确保覆盖所有目标患者
      },
      "aggs": {
        "latest_visit": {
          "top_hits": {
            "sort": [
              {
                "created_date": {
                  "order": "desc"
                }
              }
            ],
            "size": 1
          }
        }
      }
    }
  },
  "size": 0  // 无需返回原始文档，节省带宽与查询性能
}

关键部分说明 #

• terms聚合：以patient_id.keyword为分组字段，将同一患者的所有就诊记录归为一组
• 嵌套top_hits聚合：在每个患者分组内，按created_date降序排序，仅取第一条数据，即该患者的最新就诊记录
• size: 0：关闭原始文档返回，只保留聚合结果，减少不必要的数据传输

结果提取 #

执行查询后，聚合结果会在aggregations.group_by_patient.buckets下返回每个患者的分组，每个分组内的latest_visit.hits.hits[0]就是对应患者的最新就诊记录，整理后即可得到期望结果。

内容的提问来源于stack exchange，提问作者Hemant Sah