如何基于时间戳查询Elasticsearch索引数据并获取超1万条结果

时间范围查询命中0的解决方案 #

你存储的TimeStamp字段是毫秒级时间戳（epoch_millis），但查询语句里传的gte和lte值为秒级时间戳，单位不匹配导致查询范围远小于预期范围，自然没有命中结果。

有两种常用修正方法：

方法1：直接转成毫秒级时间戳查询 #

将查询的起止时间乘以1000转成毫秒值后传入，示例查询语句：

{
  "query": {
    "bool": {
      "must": [
        {
          "range": {
            "TimeStamp": {
              "gte": 1632844180000,
              "lte": 1635436180000
            }
          }
        }
      ]
    }
  },
  "size": 10
}

方法2：查询时指定入参格式为秒级 #

不用修改现有时间值，在range参数中加format指定入参为秒级时间戳，ES会自动做单位转换：

{
  "query": {
    "bool": {
      "must": [
        {
          "range": {
            "TimeStamp": {
              "gte": "1632844180",
              "lte": "1635436180",
              "format": "epoch_second"
            }
          }
        }
      ]
    }
  },
  "size": 10
}

获取超过10000条查询结果的方案 #

ES默认单查询返回结果上限为10000条，由索引参数index.max_result_window控制，有三种常用解决方法：

方案1：使用Scroll API（适合全量数据导出/离线遍历） #

首次查询指定scroll有效期，后续通过返回的scroll_id持续拉取数据：

• 首次查询请求示例：

POST /my-index/_search?scroll=1m
{
  "query": {
    // 你的时间范围查询条件
  },
  "size": 1000 // 单次拉取条数，最大不超过10000
}

• 后续拉取请求示例：

POST /_search/scroll
{
  "scroll": "1m",
  "scroll_id": "首次查询返回的_scroll_id值"
}

所有数据拉取完成后建议手动删除scroll_id释放资源。

方案2：使用search_after（适合深度分页、实时性要求高的场景） #

首次查询指定排序规则，后续将上一页返回的最后一条数据的排序值作为下一页的查询起点：

• 首次查询示例：

{
  "query": {
    // 你的查询条件
  },
  "size": 1000,
  "sort": [
    {"TimeStamp": "asc"},
    {"_id": "asc"} // 加入_id保证排序唯一性
  ]
}

• 第二次及之后的查询，将上一页返回的最后一条数据的sort字段值填入search_after参数：

{
  "query": {
    // 你的查询条件
  },
  "size": 1000,
  "sort": [
    {"TimeStamp": "asc"},
    {"_id": "asc"}
  ],
  "search_after": [1632844180000, "上一页最后一条数据的_id"]
}

方案3：调大索引的max_result_window上限（仅适合小数据量场景，不推荐） #

可临时调整索引的返回上限，例如调整到20000：

PUT /my-index/_settings
{
  "index.max_result_window": 20000
}

注意该值设置过大会导致ES节点内存占用过高、性能下降，不建议设置超过100000。

内容的提问来源于stack exchange，提问作者Ian Kurtis