如何在Grafana中仅读取Elastic的最新索引数据？

方法一：直接定位最新日期索引 #

这种方法直接锁定最新的myindex-YYYY.MM.DD索引，查询效率更高：

• 创建Grafana变量：
  1. 进入Grafana「变量」设置页，新建Query类型变量，数据源选你的Elasticsearch实例。
  2. 在「查询」框输入Elastic的_cat API语句，获取所有匹配索引并按名称倒序排列：

     GET /_cat/indices/myindex-*?h=index&s=index:desc&format=json
     

  3. 在「正则表达式」中填入"myindex-(\\d{4}\\.\\d{2}\\.\\d{2})"，选择「提取第一个匹配项」，变量会自动获取最新的索引名称（比如myindex-2024.05.20）。
• 在面板查询中使用变量：把原来的索引模式替换为变量名（如${latest_index}），每次查询只会访问最新的单个索引。

方法二：通过最大@timestamp过滤文档 #

如果需要获取所有索引中时间戳最新的文档，可通过变量+过滤实现：

• 创建存储最大时间戳的变量：
  1. 新建Query类型变量，数据源选Elasticsearch。
  2. 在「查询」框填入聚合DSL：

     {
       "size": 0,
       "aggs": {
         "max_timestamp": { "max": { "field": "@timestamp" } }
       }
     }
     

  3. 在「提取字段」中填入aggregations.max_timestamp.value_as_string，变量会自动提取最新的时间戳字符串。
• 在面板查询中过滤文档：
  在Elasticsearch查询的过滤器中添加条件@timestamp: ${max_timestamp}，或直接写入DSL：

  {
    "query": {
      "term": {
        "@timestamp": "${max_timestamp}"
      }
    }
  }
  

  注意要确保@timestamp字段格式和变量返回格式一致（如ISO8601格式）。

两种方法对比 #

• 方法一更高效：直接限定查询最新索引，避免扫描所有历史索引。
• 方法二更灵活：适用于索引生成不严格按日期，但需要全局最新时间文档的场景。

内容的提问来源于stack exchange，提问作者Antonis Christofides