Elasticsearch按15分钟间隔统计文档数结果异常求助

我用以下查询在指定时间范围内按15分钟间隔统计logs-iis.access-default索引的文档数量，但返回结果多数时间桶的doc_count为0，和Discovery、Lens里的数据对不上：

GET /logs-iis.access-default/_search
{
  "size": 0,
  "query": {
    "range": {
      "@timestamp": {
        "gte": "2023-09-17T00:00:00.000", 
        "lte": "2023-09-18T23:59:59.999"
      }
    }
  },
  "aggs": {
    "requests_over_time": {
      "date_histogram": {
        "field": "@timestamp", 
        "fixed_interval": "15m" 
      }
    }
  }
}

返回结果示例：

{
  "took": 626,
  "timed_out": false,
  "_shards": {
    "total": 2,
    "successful": 2,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": {
      "value": 10000,
      "relation": "gte"
    },
    "max_score": null,
    "hits": []
  },
  "aggregations": {
    "requests_over_time": {
      "buckets": [
        {
          "key_as_string": "2023-09-17T00:00:00.000Z",
          "key": 1694908800000,
          "doc_count": 592
        },
        {
          "key_as_string": "2023-09-17T00:15:00.000Z",
          "key": 1694909700000,
          "doc_count": 0
        },
        {
          "key_as_string": "2023-09-17T00:30:00.000Z",
          "key": 1694910600000,
          "doc_count": 0
        },
        {
          "key_as_string": "2023-09-17T00:45:00.000Z",
          "key": 1694911500000,
          "doc_count": 0
        },
        ...
      ]
    }
  }
}

解决思路与修正方案 #

出现这种问题的核心原因及对应修正方式如下：

1. 时区不匹配（最常见原因） #

Elasticsearch默认使用UTC时区处理时间，若你的日志@timestamp是本地时区（比如东八区），但查询时间未指定时区，会导致时间桶对齐错误，出现大量0值桶。

修正方式：

• 要么将查询时间转为UTC格式：

  "range": {
    "@timestamp": {
      "gte": "2023-09-16T16:00:00.000Z", 
      "lte": "2023-09-18T15:59:59.999Z"
    }
  }
  

• 要么在查询和聚合中明确指定时区：

  "range": {
    "@timestamp": {
      "gte": "2023-09-17T00:00:00.000", 
      "lte": "2023-09-18T23:59:59.999",
      "time_zone": "+08:00"
    }
  },
  "aggs": {
    "requests_over_time": {
      "date_histogram": {
        "field": "@timestamp", 
        "fixed_interval": "15m",
        "time_zone": "+08:00"
      }
    }
  }
  

2. 替换fixed_interval为calendar_interval #

fixed_interval是严格按固定毫秒数划分间隔，若遇夏令时或时区变更会出现偏差；calendar_interval遵循日历规则，更适合常规时间统计：

"date_histogram": {
  "field": "@timestamp", 
  "calendar_interval": "15m",
  "time_zone": "+08:00"
}

3. 确保获取准确的总数据量 #

hits.total.value显示gte:10000说明实际数据超过1万，添加track_total_hits: true可获取准确的总数据量，同时验证时间范围是否完全覆盖目标数据：

GET /logs-iis.access-default/_search
{
  "size": 0,
  "track_total_hits": true,
  // 其余查询内容不变
}

4. 验证@timestamp字段映射 #

确认@timestamp的映射类型是date，而非text或其他类型，否则date_histogram无法正确解析时间。查看映射的命令：

GET /logs-iis.access-default/_mapping/field/@timestamp

最终修正后的查询示例 #

GET /logs-iis.access-default/_search
{
  "size": 0,
  "track_total_hits": true,
  "query": {
    "range": {
      "@timestamp": {
        "gte": "2023-09-17T00:00:00.000",
        "lte": "2023-09-18T23:59:59.999",
        "time_zone": "+08:00"
      }
    }
  },
  "aggs": {
    "requests_over_time": {
      "date_histogram": {
        "field": "@timestamp",
        "calendar_interval": "15m",
        "time_zone": "+08:00",
        "min_doc_count": 0
      }
    }
  }
}

注：min_doc_count:0是默认值，会保留所有时间桶；若只想查看有数据的桶，可设为1。

内容的提问来源于stack exchange，提问作者Onur Ulusoy