Elasticsearch 7.6：如何按时间范围查询datetime字段？

这个问题我之前也碰到过，咱们来一步步拆解原因和解决方案：

为什么你之前的方法无效？ #

1. Range查询加format: HH:mm:ss：
   Elasticsearch的range查询中指定format是用来解析查询值的格式，但你的字段存储的是完整的yyyy-MM-dd HH:mm:ss日期时间。当你只传入00:45:00时，ES会自动补充当前日期（比如2024-05-20 00:45:00），所以只会匹配日期是当天且时间在00:45之前的记录，自然找不到跨日期的目标数据。

2. 仅判断分钟数的Script查询：
   你之前的脚本只检查了分钟数≤45，但忽略了小时部分——比如01:30:00的分钟数是30，确实≤45，但它的时间已经超过了00:45:00，所以会错误地包含这类不符合要求的记录。

针对ES7.6的两种解决方案 #

方案1：使用Painless脚本精准匹配时间部分（适合临时查询或小数据量） #

我们可以在脚本中提取字段的小时、分钟、秒，计算成当天的总秒数，再和目标时间的总秒数做比较。比如你要筛选startTs≥00:00:00（其实所有时间都满足，可省略）且endTs≤00:45:00的记录，查询语句如下：

GET test/_search
{
  "query": {
    "bool": {
      "filter": [
        {
          "script": {
            "script": {
              "source": """
                // 计算startTs时间部分的总秒数
                def startHour = doc['startTs'].value.getHour();
                def startMinute = doc['startTs'].value.getMinute();
                def startSecond = doc['startTs'].value.getSecond();
                def startTotalSec = startHour * 3600 + startMinute * 60 + startSecond;
                
                // 计算endTs时间部分的总秒数
                def endHour = doc['endTs'].value.getHour();
                def endMinute = doc['endTs'].value.getMinute();
                def endSecond = doc['endTs'].value.getSecond();
                def endTotalSec = endHour * 3600 + endMinute * 60 + endSecond;
                
                // 执行条件判断：start时间≥0点，end时间≤0点45分
                return startTotalSec >= 0 && endTotalSec <= 45*60;
              """,
              "lang": "painless"
            }
          }
        }
      ]
    }
  }
}

方案2：新增时间秒数字段（适合长期使用，性能更优） #

脚本查询是逐条计算的，数据量大时性能会受影响。更高效的方式是在索引时就把时间部分转换成总秒数存储，后续直接用range查询：

1. 修改Mapping添加新字段：

PUT test/_mapping
{
  "properties": {
    "endTs": {
      "type": "date",
      "format": "yyyy-MM-dd HH:mm:ss",
      "index": true
    },
    "startTs": {
      "type": "date",
      "format": "yyyy-MM-dd HH:mm:ss",
      "index": true
    },
    "startTimeSec": {
      "type": "integer",
      "index": true
    },
    "endTimeSec": {
      "type": "integer",
      "index": true
    }
  }
}

2. 创建Ingest Pipeline自动计算秒数：
   这个pipeline会在数据导入时自动解析startTs和endTs，计算出时间部分的总秒数并存入新字段：

PUT _ingest/pipeline/time-of-day-pipeline
{
  "processors": [
    {
      "script": {
        "source": """
          // 处理startTs
          if (ctx.startTs != null) {
            def dt = DateTime.parse(ctx.startTs, DateTimeFormat.forPattern("yyyy-MM-dd HH:mm:ss"));
            ctx.startTimeSec = dt.getHourOfDay() * 3600 + dt.getMinuteOfHour() * 60 + dt.getSecondOfMinute();
          }
          
          // 处理endTs
          if (ctx.endTs != null) {
            def dt = DateTime.parse(ctx.endTs, DateTimeFormat.forPattern("yyyy-MM-dd HH:mm:ss"));
            ctx.endTimeSec = dt.getHourOfDay() * 3600 + dt.getMinuteOfHour() * 60 + dt.getSecondOfMinute();
          }
        """,
        "lang": "painless"
      }
    }
  ]
}

3. 导入数据时指定Pipeline：
   批量导入时加上?pipeline=time-of-day-pipeline参数，自动完成字段计算：

POST _bulk?pipeline=time-of-day-pipeline
{"index":{}}
{"startTs":"2024-05-18 00:10:00", "endTs":"2024-05-18 00:30:00"}
{"index":{}}
{"startTs":"2024-05-19 00:20:00", "endTs":"2024-05-19 00:40:00"}
# 更多测试数据...

4. 高效查询：
   之后就可以用普通的range查询，性能比脚本好很多：

GET test/_search
{
  "query": {
    "bool": {
      "filter": [
        {
          "range": {
            "startTimeSec": {"gte": 0}
          }
        },
        {
          "range": {
            "endTimeSec": {"lte": 2700} // 00:45:00对应的总秒数
          }
        }
      ]
    }
  }
}

内容的提问来源于stack exchange，提问作者atiq1589