如何实时获取Elasticsearch中最新的异常检测模型索引？

方案1：通过索引名称排序直接获取最新索引 #

你的索引名称按anomaly_detection_model-dd.MM.yyyy格式命名，直接对索引名称降序排序后取第一个，就能得到最新训练的模型索引。

具体实现： #

用Elasticsearch的_cat/indicesAPI过滤前缀并排序：

curl -XGET 'http://your-es-host:9200/_cat/indices/anomaly_detection_model-*?v&s=index:desc&h=index' | head -n 1

解释：

• anomaly_detection_model-*：过滤所有目标前缀的索引
• s=index:desc：按索引名称降序排列
• h=index：只返回索引名称列
• head -n1：取第一行即为最新索引

如果用Python的elasticsearch客户端，代码如下：

from elasticsearch import Elasticsearch

es = Elasticsearch("http://your-es-host:9200")
# 获取所有符合前缀的索引列表
indices = es.cat.indices(index="anomaly_detection_model-*", h="index", format="json")
# 按索引名称降序排序，取第一个
latest_index = sorted(indices, key=lambda x: x['index'], reverse=True)[0]['index']

方案2：给索引添加元数据字段，基于元数据排序 #

如果担心未来日期格式变更（比如改成yyyy-MM-dd）导致名称排序失效，可以在创建模型索引时，给索引的settings里添加model_trained_date元数据字段，存储标准ISO格式日期（如2022-08-31T00:00:00Z）。

具体步骤： #

1. 创建模型索引时添加元数据：

curl -XPUT 'http://your-es-host:9200/anomaly_detection_model-31.08.2022' -H 'Content-Type: application/json' -d '{
  "settings": {
    "index": {
      "model_trained_date": "2022-08-31T12:00:00Z"
    }
  },
  # 模型相关的mapping和数据...
}'

2. 查询时通过_cluster/stateAPI获取元数据并排序：

from elasticsearch import Elasticsearch
from datetime import datetime

es = Elasticsearch("http://your-es-host:9200")
# 获取集群状态中符合前缀的索引元数据
cluster_state = es.cluster.state(index="anomaly_detection_model-*", metric="metadata")
indices_meta = cluster_state['metadata']['indices']

# 按model_trained_date降序排序，取最新索引
latest_index = sorted(
    indices_meta.items(),
    key=lambda x: datetime.fromisoformat(x[1]['settings']['index']['model_trained_date'].replace('Z', '+00:00')),
    reverse=True
)[0][0]

方案3：维护一个"最新模型索引"标记索引 #

如果追求最高的实时查询效率，可以专门创建一个轻量索引（比如latest_anomaly_model），每次训练完新模型后，将最新的模型索引名称写入这个索引的唯一文档中。

具体实现： #

1. 初始化标记索引（仅需执行一次）：

curl -XPUT 'http://your-es-host:9200/latest_anomaly_model' -H 'Content-Type: application/json' -d '{
  "mappings": {
    "properties": {
      "latest_index_name": {"type": "keyword"},
      "trained_at": {"type": "date"}
    }
  }
}'

2. 训练完成后更新标记文档：

curl -XPUT 'http://your-es-host:9200/latest_anomaly_model/_doc/latest' -H 'Content-Type: application/json' -d '{
  "latest_index_name": "anomaly_detection_model-31.08.2022",
  "trained_at": "2022-08-31T12:00:00Z"
}'

3. 实时获取最新模型时，直接查询标记文档：

from elasticsearch import Elasticsearch

es = Elasticsearch("http://your-es-host:9200")
response = es.get(index="latest_anomaly_model", id="latest")
latest_index = response['_source']['latest_index_name']

这个方案的优势是查询速度极快，无需遍历所有索引，适合高频率的实时查询场景。

内容的提问来源于stack exchange，提问作者Kosmylo