Elasticsearch数据流：如何按日期范围筛选目标索引？

一、处理数据流隐藏索引的筛选问题 #

• 数据流的底层索引（backing index）默认以.ds-开头隐藏，但完全不需要手动筛选这些隐藏索引——直接用数据流名称作为查询目标即可，Elasticsearch会自动根据你指定的@timestamp范围，路由到对应的底层索引，无需关心它们是否隐藏。
• 如果确实需要手动查看或筛选隐藏索引，在调用API时加上include_hidden=true参数即可，比如查看所有technical-logs数据流的底层索引：

  GET /_cat/indices/.ds-technical-logs-*?include_hidden=true&v
  

二、利用@timestamp过滤指定日期的索引 #

有两种简便的ES原生方式可以实现：

1. 日期模式通配符直接匹配
   如果你的索引（包括数据流底层索引）是technical-logs-yyyyMMdd或.ds-technical-logs-yyyyMMdd-*的命名格式，直接用日期范围的通配符指定索引，比如查询2023年1月1日到18日的索引：

   // 非数据流索引
   GET /technical-logs-20230101,technical-logs-20230102,...,technical-logs-20230118/_search
   // 日期连续时用通配符简化
   GET /technical-logs-202301*/_search
   
   // 数据流底层索引需加include_hidden
   GET /.ds-technical-logs-202301*/_search?include_hidden=true
   

2. 结合索引生命周期管理（ILM）自动匹配
   提前通过ILM配置，让索引按日期自动滚动创建（比如每日一个索引），并绑定到数据流。查询时直接指定数据流名称，ES会自动根据@timestamp的查询范围，只检索包含该时间段数据的索引，这是最省心的长期方案，不需要手动筛选索引。

三、最优方案：用数据流+ILM替代手动索引筛选 #

数据流本身就是为时间序列数据设计的，完美适配你的需求：

• 先创建索引模板，指定索引的命名模式（按日期）、字段映射（包括@timestamp），并绑定到ILM策略（比如按天滚动、自动归档）。
• 创建数据流关联该模板，之后写入的数据会自动进入对应日期的底层索引。
• 查询时直接用数据流名称，配合@timestamp范围查询，ES会自动完成索引筛选，示例：

  GET /technical-logs/_search
  {
    "query": {
      "range": {
        "@timestamp": {
          "gte": "2023-01-01T00:00:00Z",
          "lte": "2023-01-18T23:59:59Z"
        }
      }
    }
  }
  

  这个查询会自动只命中包含目标时间范围数据的底层索引，无需处理隐藏索引，性能也比手动筛选更优。

内容的提问来源于stack exchange，提问作者bilak