使用Logstash时如何实现Elasticsearch模板更新与索引自动重建

现有配置中template_overwrite: true仅会覆盖Elasticsearch侧存储的索引模板，而模板规则仅对新创建的索引生效，已存在的存量索引的Mapping、设置不会随模板更新自动变更，因此必须通过重索引将存量数据迁移到套用新模板的新索引中才能完成历史数据更新。

1. 调整Elasticsearch索引使用逻辑，实现零停机切换 #

首先放弃直接使用posts作为真实索引名，改用别名 + 时间戳版本索引的模式：

• 真实索引按posts_{版本号/时间戳}规则命名，比如posts_20240520_v1，每次模板变更后创建的新索引使用新的版本号/时间戳
• 业务读写、Logstash写入统一使用posts别名，该别名始终指向当前生效的最新版本索引，切换操作是原子性，无业务中断

2. 在CI/CD流程中嵌入自动触发逻辑 #

和你现有的Git推送自动构建镜像的流程结合，新增以下步骤：

• 构建镜像前先检测本次提交中posts.template.json是否发生变更，无变更则直接走常规容器部署流程，有变更则触发重索引流程
• 新的Logstash容器启动后会自动覆盖ES侧的索引模板，确保后续新创建的索引都套用最新规则

3. 自动化重索引执行流程 #

所有操作都可以通过调用Elasticsearch REST API实现，直接嵌入CI/CD脚本即可，核心操作示例：

3.1 创建新索引 #

# 生成带时间戳的新索引名
NEW_INDEX="posts_$(date +%Y%m%d%H%M%S)"
# 创建新索引，会自动套用刚更新的最新模板
curl -X PUT "${ES_HOST}/${NEW_INDEX}"

3.2 触发全量重索引 #

# 后台触发重索引任务，数据量较大时可以加?slices=auto参数开启自动切片加速
curl -X POST "${ES_HOST}/_reindex?wait_for_completion=false" -H "Content-Type: application/json" -d '
{
  "source": {
    "index": "posts"
  },
  "dest": {
    "index": "'"${NEW_INDEX}"'"
  }
}'
# 返回的task_id用于后续轮询任务状态

3.3 轮询重索引任务状态，完成后原子切换别名 #

# 重索引完成后执行别名切换，同时移除旧索引的别名绑定，绑定新索引
curl -X POST "${ES_HOST}/_aliases" -H "Content-Type: application/json" -d '
{
  "actions": [
    {"remove": {"index": "*", "alias": "posts"}},
    {"add": {"index": "'"${NEW_INDEX}"'", "alias": "posts"}}
  ]
}'

3.4 清理旧索引（可选，也可以保留1-2个历史版本用于快速回滚） #

# 删除除当前新版本外的所有旧版本索引
curl -X DELETE "${ES_HOST}/posts_*,-${NEW_INDEX}"

4. 适配现有Logstash配置 #

不需要大幅修改原有配置，仅需确保写入的索引名是别名即可，你当前的配置已经符合要求，无需调整。

内容的提问来源于stack exchange，提问作者Moshe G