Elasticsearch索引自动rollover问题咨询：datastream区别、max_docs不触发、季度命名

问题1：索引别名（index alias）与数据流（data stream）的核心区别 #

• 定位不同：索引别名是底层索引的抽象映射，本质是指向一个或多个实际索引的逻辑指针，支持读写分离配置、灵活切换指向，可对接任意类型索引；数据流是专门为时序类不可变数据设计的高层抽象，内置写索引管理逻辑，仅适用于append-only的时序场景。
• 读写逻辑不同：普通别名如果指向多个索引，默认写入会报错，需要手动指定其中一个索引为写别名；数据流自动维护最新的后备索引为写索引，历史索引为只读，写入请求直接发往数据流名称即可，无需额外配置写指向。
• ILM适配性不同：别名搭配rollover需要手动绑定写别名、配置索引模板关联别名，流程相对繁琐；数据流原生适配ILM rollover逻辑，无需额外手动维护别名指向，滚动后自动切换写索引。
• 约束不同：别名无强制字段要求；数据流要求索引必须包含@timestamp字段作为时序标识，所有后备索引的mapping、settings统一由索引模板管理，不允许单独修改单个后备索引的配置。

问题2：max_docs阈值未触发rollover的解决方法 #

max_docs没有触发rollover是ES ILM的默认扫描机制导致的：ILM默认每10分钟才会扫描一次所有绑定了生命周期策略的索引，校验是否满足rollover条件。max_age是时间维度指标，无需扫描索引就能直接计算是否达标，所以测试时可以快速触发；而max_docs需要扫描索引的实时文档数，没到扫描周期就不会触发校验，所以看起来配置不生效。
你可以通过两种方式解决测试问题：

1. 手动触发ILM立即执行扫描：

POST _ilm/run

2. 临时调低ILM的扫描间隔，方便测试：

PUT _cluster/settings
{
  "persistent": {
    "indices.lifecycle.poll_interval": "10s"
  }
}

生产环境建议保留默认10分钟的扫描间隔，避免额外增加集群负载。你也可以执行GET my-data-stream/_ilm/explain查看当前ILM的执行状态，确认rollover条件的匹配情况。 #

问题3：自定义季度规则生成rollover索引名称的实现方法 #

可以实现自定义按季度生成索引名称，ES支持通过日期数学表达式满足该需求：

1. 先把ILM策略的rollover触发条件调整为按季度滚动，max_age设置为3M即可对齐季度周期。
2. 如果你用的是别名+rollover的方案，创建第一个引导索引的时候使用日期数学命名规则，示例如下：

# 代码可直接在Kibana Dev Tools执行，符号已做URL编码适配
PUT %3Cmy-data-stream-%7Bnow%2Fq%7D.q%7Bnow%2Fq%20+%201%20%2F%203M%7D-000001%3E
{
  "aliases": {
    "my-data-stream": {
      "is_write_index": true
    }
  }
}

生成的索引名称格式为my-data-stream-2024.q1-000001，后续rollover时会自动替换当前季度的时间戳，同时序号自增。
3. 如果你用的是数据流方案，ES 7.15支持在索引模板中配置data_stream.index_name_mode参数自定义后备索引命名规则，同样支持日期数学表达式，直接在模板中配置即可。 #

内容的提问来源于stack exchange，提问作者M. A. Tanaka