Elasticsearch按日统计日志数量查询失败排查请求

问题背景 #

需要统计近10天内每日的日志数量，但执行查询后返回无有效结果，索引中实际存在大量日志数据，但查询命中数为0。

需求示例 #

date : records
2023-03-17  256
2023-03-18  148

用户提供的错误查询语句 #

GET /index_name/_search
{
  "query": {
    "range": {
      "@timestamp": {
        "gte": "now-11d",
        "lte": "now-1d"
      }
    }
  },
  "aggs" : {
      "byDay" : {
          "date_histogram" : {
              "field" : "@timestamp",
              "calendar_interval" : "1d",
              "format" : "yyyy-MM-dd" 
          }
      }
  }
}

查询执行结果 #

{
  "took": 448,
  "timed_out": false,
  "_shards": {
    "total": 3,
    "successful": 3,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": {
      "value": 0,
      "relation": "eq"
    },
    "max_score": null,
    "hits": []
  },
  "aggregations": {
    "byDay": {
      "buckets": []
    }
  }
}

索引结构（包含日志示例） #

{
  "took": 621,
  "timed_out": false,
  "_shards": {
    "total": 3,
    "successful": 3,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": {
      "value": 10000,
      "relation": "gte"
    },
    "max_score": 1,
    "hits": [
      {
        "_index": "logs-000001",
        "_id": "FDiUoYYB6jibW4tyO_7l",
        "_score": 1,
        "_source": {
          "@timestamp": "2023-03-02T09:08:08.029Z",
          "qid": "7079B4FEE7",
          "status": "status_A"
        }
      },
      {
        "_index": "logs-000001",
        "_id": "FTiUoYYB6jibW4tyO_7l",
        "_score": 1,
        "_source": {
          "@timestamp": "2023-03-02T09:08:08.057Z",
          "qid": "BE5694FEFB",
          "status": "status_A"
        }
      }
    ]
  }
}

错误原因分析 #

1. 索引名称不匹配：查询中使用的是/index_name/_search，但实际日志存储的索引是logs-000001，导致查询了错误的索引。
2. 时间范围与数据不匹配：索引中的日志时间为2023-03-02，而查询的时间范围是now-11d到now-1d（近10天），该时间段内索引中没有数据，因此命中数为0。

修正方案 #

1. 修正目标索引 #

将查询路径中的index_name替换为实际的索引名，或者使用通配符匹配所有日志索引：

• 单个索引：GET /logs-000001/_search
• 多个索引：GET /logs-*/_search（匹配所有以logs-开头的索引）

2. 调整时间范围 #

如果需要统计已有数据的日期，将时间范围修改为对应区间；如果确实需要统计近10天数据，需确认索引中存在该时间段的日志。

修正后的查询示例 #

GET /logs-000001/_search
{
  "size": 0, // 不返回具体日志文档，提升查询效率
  "query": {
    "range": {
      "@timestamp": {
        "gte": "2023-03-01T00:00:00Z",
        "lte": "2023-03-03T23:59:59Z"
      }
    }
  },
  "aggs": {
    "byDay": {
      "date_histogram": {
        "field": "@timestamp",
        "calendar_interval": "1d",
        "format": "yyyy-MM-dd",
        "min_doc_count": 1 // 仅返回有日志的日期，过滤空桶
      }
    }
  }
}

额外注意事项 #

• 确认@timestamp字段的映射类型为date，避免因类型不匹配导致范围查询失效，可通过以下命令查看字段映射：

  GET /logs-000001/_mapping/field/@timestamp
  

• 添加size:0可以减少不必要的数据传输，因为我们只需要聚合统计结果，无需返回具体日志。
• 如果需要统计包含当天的近10天数据，可使用日期舍入语法确保时间范围是完整的天：

  "range": {
    "@timestamp": {
      "gte": "now-10d/d", // 近10天的0点
      "lte": "now/d"      // 当天的0点（或用"now"包含当前时间）
    }
  }
  

内容的提问来源于stack exchange，提问作者mariusz