使用日期数学过滤Elasticsearch Rollup索引失败，如何查询该索引？

核心结论 #

Rollup索引支持查询过滤，但前提是你在创建Rollup任务时，已经将需要过滤的字段（比如timestamp）配置为可搜索/可聚合的字段。你遇到的“所有查询分片失败”错误，大概率是因为Rollup任务中没有正确配置timestamp字段的可查询属性。

问题原因 #

Rollup索引是原始数据聚合后的产物，只有在Rollup任务中明确配置过的字段，才能被用于查询或二次聚合。如果你的Rollup任务仅对timestamp做了date_histogram聚合，但未确保该字段具备可查询能力，或者完全没配置该字段，直接用range查询就会触发分片失败错误。

解决方案 #

1. 检查并修正Rollup任务配置

确保你的Rollup任务配置中，timestamp字段被正确定义：

• 如果是基于timestamp做时间直方图聚合，该字段会自动具备可查询能力，示例配置片段：

{
  "index_pattern": "original-*",
  "rollup_index": "rollup-weather",
  "cron": "0 0 * * * ?",
  "page_size": 1000,
  "groups": {
    "date_histogram": {
      "field": "timestamp",
      "fixed_interval": "1m",
      "time_zone": "UTC"
    },
    "terms": {
      "fields": ["node"]
    }
  },
  "metrics": [
    {
      "field": "temperature",
      "metrics": ["max"]
    },
    {
      "field": "voltage",
      "metrics": ["avg"]
    }
  ]
}

• 如果需要对timestamp做更灵活的范围过滤，也可以在fields数组中显式添加该字段（适用于未做时间直方图聚合的场景）：

{
  // 其他配置...
  "fields": [
    {"field": "timestamp", "type": "date"}
  ]
}

2. 正确的过滤查询写法

你的查询结构本身是正确的，只要Rollup任务配置符合要求，以下查询就能过滤最近3天的数据：

{
  "size": 0,
  "query": {
    "range": {
      "timestamp": {
        "gte": "now-3d/d",
        "lt": "now/d"
      }
    }
  },
  "aggregations": {
    "timeline": {
      "date_histogram": {
        "field": "timestamp",
        "fixed_interval": "7d"
      },
      "aggs": {
        "nodes": {
          "terms": {
            "field": "node"
          },
          "aggs": {
            "max_temperature": {
              "max": {
                "field": "temperature"
              }
            },
            "avg_voltage": {
              "avg": {
                "field": "voltage"
              }
            }
          }
        }
      }
    }
  }
}

注意：查询时使用的聚合粒度（比如这里的7d）不能比Rollup任务定义的粒度更细（比如任务是1m，查询用7d是允许的；反过来任务是60m，查询用1m则不支持）。

3. 验证配置

可以通过以下命令查看Rollup任务的详细配置，确认timestamp字段是否已正确配置：

GET _rollup/job/<你的Rollup任务ID>/_get

内容的提问来源于stack exchange，提问作者john22