Elastic Search：计算两个子文档timestamp字段的差值

我明白你现在的困境——父子文档结构下没法直接用脚本跨子文档计算时间差，还不能改成嵌套结构，确实有点棘手。不过有两个可行的方案可以试试：

方案一：使用Scripted Metric聚合实时计算差值 #

这种方式适合单次查询的场景，通过聚合将同一父文档下的目标子文档聚在一起，再用脚本提取时间戳计算差值：

假设你的子文档有一个event_type字段，用来区分要计算的两个时间戳来源（比如event_type: "start"对应timestamp1，event_type: "end"对应timestamp2），可以用下面的DSL查询：

{
  "size": 0,
  "aggs": {
    "group_by_parent": {
      "terms": {
        "field": "_parent"  // 按父文档ID分组
      },
      "aggs": {
        "get_target_docs": {
          "top_hits": {
            "size": 2,
            "query": {
              "bool": {
                "should": [
                  {"term": {"event_type": "start"}},
                  {"term": {"event_type": "end"}}
                ]
              }
            },
            "_source": ["timestamp", "event_type"]
          }
        },
        "calculate_time_diff": {
          "scripted_metric": {
            "init_script": "state.timestamps = [:]",
            "map_script": """
              def hits = params._agg.get_target_docs.hits.hits;
              for (hit in hits) {
                state.timestamps[hit._source.event_type] = hit._source.timestamp;
              }
            """,
            "combine_script": """
              if (state.timestamps.start && state.timestamps.end) {
                return state.timestamps.end - state.timestamps.start;
              } else {
                return null;
              }
            """,
            "reduce_script": """
              def diffs = [];
              for (agg in states) {
                if (agg != null) {
                  diffs.add(agg);
                }
              }
              return diffs;
            """
          }
        }
      }
    }
  }
}

说明： #

• 首先通过terms聚合将同一父文档下的子文档分组
• 用top_hits获取需要的两个子文档（最多2条，对应开始和结束事件）
• 最后用scripted_metric聚合提取两个时间戳，计算差值并返回

方案二：使用Elasticsearch Transform将父子文档扁平化 #

如果需要多次查询这个差值，建议先通过Transform将父子文档合并成单条扁平文档，之后就能直接查询或计算差值，效率更高：

1. 创建一个Transform任务，将父文档和对应的子文档关联，把两个子文档的时间戳提取到同一文档中：

{
  "transform": {
    "source": {
      "index": ["your_parent_index", "your_child_index"]
    },
    "pivot": {
      "group_by": {
        "parent_id": {"terms": {"field": "_parent"}}
      },
      "aggregations": {
        "start_timestamp": {"max": {"field": "timestamp", "script": {"source": "doc['event_type'].value == 'start' ? doc['timestamp'].value : null"}}},
        "end_timestamp": {"max": {"field": "timestamp", "script": {"source": "doc['event_type'].value == 'end' ? doc['timestamp'].value : null"}}}
      }
    },
    "dest": {
      "index": "flattened_parent_child_index"
    },
    "sync": {
      "time": {
        "field": "timestamp",
        "delay": "60s"
      }
    }
  }
}

2. 任务创建完成后，你就可以直接在目标索引中查询差值，甚至可以添加一个runtime字段来实时计算：

{
  "runtime_mappings": {
    "time_diff": {
      "type": "long",
      "script": "emit(doc['end_timestamp'].value - doc['start_timestamp'].value)"
    }
  },
  "query": {
    "match_all": {}
  }
}

为什么直接脚本不可行？ #

你说得没错，Elasticsearch的单文档脚本只能访问当前处理的文档字段，没办法跨文档获取同一父下其他子文档的数据，所以必须借助聚合或者数据转换的方式来实现跨文档的字段访问和计算。

内容的提问来源于stack exchange，提问作者Dagriel