如何在Elasticsearch中获取今日（或指定日期范围）被访问/命中的文档？

嘿，这个需求完全可以实现！不过得先明确一点：Elasticsearch本身不会自动记录文档的访问/命中情况——所以得先通过一些方式把这些访问行为追踪下来，之后才能筛选出指定时间范围内的被访问文档。下面分步骤给你拆解：

步骤1：给文档添加访问追踪字段 #

首先得给你的索引里的每个文档加一个专门记录访问时间的字段，比如last_accessed_at，类型设为date。每次文档被查询命中时，就把这个字段更新为当前时间。

• 如果是单个文档被访问，用_update API直接更新：

  POST /your_index/_update/{document_id}
  {
    "doc": {
      "last_accessed_at": "{{now}}"
    }
  }
  

• 如果是批量查询返回多个文档，建议用_bulk API批量更新，效率更高：

  POST /_bulk
  {"update": {"_index": "your_index", "_id": "doc_1"}}
  {"doc": {"last_accessed_at": "{{now}}"}}
  {"update": {"_index": "your_index", "_id": "doc_2"}}
  {"doc": {"last_accessed_at": "{{now}}"}}
  

• 小提示：如果你的查询是通过应用层发起的，最好在应用里处理这个更新逻辑；如果是直接用Kibana等工具查询，可以考虑用Elasticsearch的ingest pipeline或者脚本自动完成更新。

步骤2：筛选指定日期范围的被访问文档 #

有了last_accessed_at字段后，就可以用range查询轻松筛选出目标时间范围内的文档了：

• 获取今日被访问的文档：

  GET /your_index/_search
  {
    "query": {
      "range": {
        "last_accessed_at": {
          "gte": "now/d", // 今日零点
          "lte": "now"    // 当前时间
        }
      }
    },
    "_source": ["id", "last_accessed_at"] // 只返回需要的字段，减少数据传输
  }
  

• 获取指定日期范围（比如2024-05-01到2024-05-03）的被访问文档：

  GET /your_index/_search
  {
    "query": {
      "range": {
        "last_accessed_at": {
          "gte": "2024-05-01T00:00:00Z",
          "lte": "2024-05-03T23:59:59Z"
        }
      }
    }
  }
  

• 如果需要全量导出这些文档（不是分页的搜索结果），可以用scroll API或者point in time + search_after来高效获取所有匹配的记录。

步骤3：对比源数据并更新Elasticsearch文档 #

拿到被访问的文档列表后，接下来就是和源数据对比并更新了：

1. 关联标识：确保Elasticsearch文档和源数据有共同的唯一标识（比如id字段），用来精准匹配记录。
2. 版本对比：遍历每个被访问的文档，根据唯一标识从源数据获取最新内容，对比版本信息：
   • 可以用update_timestamp字段：如果源数据的update_time晚于Elasticsearch文档的对应字段，说明源数据更新。
   • 或者用内容哈希：给文档生成一个content_hash字段（比如MD5/SHA-256），对比哈希值就能快速判断内容是否一致，比全文对比高效得多。
3. 批量更新：如果发现源数据版本更新，用_bulk API批量同步最新内容到Elasticsearch：

   POST /_bulk
   {"update": {"_index": "your_index", "_id": "doc_1"}}
   {"doc": {"content": "源数据最新内容", "update_time": "2024-05-20T14:20:00Z", "content_hash": "abc123..."}}
   {"update": {"_index": "your_index", "_id": "doc_2"}}
   {"doc": {"content": "另一篇最新内容", "update_time": "2024-05-20T14:21:00Z", "content_hash": "def456..."}}
   

一些实用注意事项 #

• 性能优化：如果高并发访问文档，频繁更新last_accessed_at会增加写入压力。可以攒一批访问记录后异步批量更新，或者把索引的refresh_interval设为较大的值（比如5分钟）来减少刷新频率。
• 容错处理：更新last_accessed_at时如果失败，建议在应用层加重试逻辑，避免丢失访问记录。
• 权限控制：确保执行更新操作的账号有足够的权限，避免出现权限报错。

内容的提问来源于stack exchange，提问作者Rishikesh Darandale