Elasticsearch按日期分组与日期范围查询统计结果不一致求助

在使用Elasticsearch做数据统计时，发现通过date_histogram按日期分组的统计结果，与使用date_range查询同一日期范围的统计结果存在差异。

Date Histogram查询及结果 #

查询语句：

{
  "query": {
    "bool": {
      "must": [
        {
          "bool": {
            "must": [
              {
                "range": {
                  "starttime": {
                    "from": 1686502800000,
                    "to": null,
                    "include_lower": true,
                    "include_upper": true,
                    "boost": 1
                  }
                }
              },
              {
                "range": {
                  "starttime": {
                    "from": null,
                    "to": 1688317199999,
                    "include_lower": true,
                    "include_upper": true,
                    "boost": 1
                  }
                }
              }
            ],
            "adjust_pure_negative": true,
            "boost": 1
          }
        },
        {
          "bool": {
            "must_not": [
              {
                "exists": {
                  "field": "holdCall",
                  "boost": 1
                }
              }
            ],
            "adjust_pure_negative": true,
            "boost": 1
          }
        }
      ],
      "adjust_pure_negative": true,
      "boost": 1
    }
  },
  "aggregations": {
    "group_by_starttime": {
      "date_histogram": {
        "field": "starttime",
        "calendar_interval": "1d",
        "offset": 0,
        "order": {
          "_key": "asc"
        },
        "keyed": false,
        "min_doc_count": 0
      },
      "aggregations": {
        "count_id": {
          "value_count": {
            "field": "id.keyword"
          }
        }
      }
    }
  }
}

统计结果：

{
  "group_by_starttime": {
    "buckets": [
      {
        "key": 1687564800000,
        "doc_count": 4771,
        "count_id": {
          "value": 4771
        }
      },
      {
        "key": 1687651200000,
        "doc_count": 25032,
        "count_id": {
          "value": 25032
        }
      }
    ]
  }
}

其中2023年6月25日（时间戳1687651200000）的统计值为25032。

Date Range查询及结果 #

查询语句：

{
  "query": {
    "bool": {
      "must": [
        {
          "bool": {
            "must": [
              {
                "range": {
                  "starttime": {
                    "from": 1687626000000,
                    "to": null,
                    "include_lower": true,
                    "include_upper": true,
                    "boost": 1
                  }
                }
              },
              {
                "range": {
                  "starttime": {
                    "from": null,
                    "to": 1687712399999,
                    "include_lower": true,
                    "include_upper": true,
                    "boost": 1
                  }
                }
              }
            ],
            "adjust_pure_negative": true,
            "boost": 1
          }
        },
        {
          "bool": {
            "must_not": [
              {
                "exists": {
                  "field": "holdCall",
                  "boost": 1
                }
              }
            ],
            "adjust_pure_negative": true,
            "boost": 1
          }
        }
      ],
      "adjust_pure_negative": true,
      "boost": 1
    }
  },
  "aggregations": {
    "count_id": {
      "value_count": {
        "field": "id.keyword"
      }
    }
  }
}

统计结果：

{
  "count_id": {
    "value": 29803
  }
}

该查询结果为29803，与date histogram的统计结果存在明显差异。

问题原因分析 #

核心问题是时区不匹配：

• date_histogram默认使用UTC时区进行日期分组，bucket的key1687651200000对应UTC时间的2023-06-25 00:00:00，覆盖的区间是UTC的2023-06-25 00:00:00到2023-06-25 23:59:59。
• 你的date_range查询使用的是东八区（UTC+8）的时间范围：1687626000000对应东八区2023-06-25 00:00:00（即UTC的2023-06-24 16:00:00），1687712399999对应东八区2023-06-25 23:59:59（即UTC的2023-06-25 15:59:59）。这个区间实际上包含了UTC时区的2023-06-24下午到2023-06-25下午的数据，和date histogram的bucket区间完全不重合，导致统计结果差异。

另外，检查到count_id的value和doc_count数值一致，说明id.keyword字段没有null值，排除了value_count忽略null的影响。

解决方案 #

方案1：给date_histogram指定时区，与date_range保持一致 #

修改date_histogram聚合部分，添加time_zone参数指定为东八区（Asia/Shanghai），让分组逻辑和你的查询时区对齐：

"group_by_starttime": {
  "date_histogram": {
    "field": "starttime",
    "calendar_interval": "1d",
    "offset": 0,
    "order": {
      "_key": "asc"
    },
    "keyed": false,
    "min_doc_count": 0,
    "time_zone": "Asia/Shanghai"
  },
  "aggregations": {
    "count_id": {
      "value_count": {
        "field": "id.keyword"
      }
    }
  }
}

方案2：调整date_range的时间范围为UTC时区的目标日期 #

将date_range的时间范围修改为UTC时区的2023-06-25区间：

• from：1687651200000（UTC 2023-06-25 00:00:00）
• to：1687737599999（UTC 2023-06-25 23:59:59）

两种方案任选其一，即可让两个查询的统计结果保持一致。

内容的提问来源于stack exchange，提问作者pxq