如何高效检测Elasticsearch索引的最后修改时间

Ingest Pipeline注入时间戳方案的适用范围 #

该方案并非仅支持新建索引，但生效范围存在明确边界：

• 你可以为存量已存在的索引绑定default pipeline或final pipeline，绑定前已写入的历史文档不会自动补全时间戳字段，仅绑定完成后新触发的文档创建、更新操作，才会经过pipeline自动写入时间戳
• 普通default pipeline可被写入请求主动绕过（比如请求指定其他pipeline、关闭pipeline校验的批量写入），存在时间戳漏记风险；final pipeline优先级最高，无法被写入请求绕过，可靠性更强

少量索引跟踪场景的最高效方案 #

优先选择轻量元数据查询方案，集群开销最低、响应速度最快：

• 直接调用GET /<目标索引名>/_stats接口，单次请求毫秒级返回，无需遍历索引内文档：通过返回结果中indices.<目标索引名>.primaries.indexing.index_time_in_millis（主分片累计写入耗时）、indices.<目标索引名>.primaries.docs.count（主分片文档总数）两个字段的变化，即可判断索引是否发生写入/更新/删除操作
• 如果需要精确到文档级的最后修改时间，给目标少量索引绑定final pipeline自动注入last_modified_time字段，查询时对该字段做MAX聚合即可，因涉及索引数量少，聚合开销可以忽略

定期轮询对比方案的可行性 #

该方案可以得到满足多数场景需求的近似最后修改时间：

• 时间精度完全由轮询间隔决定，比如设置10秒轮询一次，得到的最后修改时间误差就控制在10秒以内
• 轮询时务必调用_stats接口做状态对比，不要每次扫描全量文档或执行全表聚合，避免给集群增加不必要的负载
• 该方案的局限性是无法感知轮询间隔内发生的多次连续修改，也无法拿到毫秒级的精确修改时间，仅能定位最近一次修改所在的时间区间

其他可落地的ES事件跟踪方案 #

• 开启ES自带的审计日志，精确记录指定索引的写入、更新、删除、配置变更等操作的发生时间、操作来源，准确性最高
• 用ES自带的Watcher功能配置定时校验任务，检测到索引状态变化时直接记录时间戳，无需额外维护轮询的历史状态数据
• 8.x及以上版本可使用索引变更通知能力，将索引变更事件主动推送到指定接收端，无需轮询，实时性最好

内容的提问来源于stack exchange，提问作者Jin Ma