Elasticsearch 7.1：如何让现有索引同步动态模板的更新效果

这个问题其实涉及到Elasticsearch动态模板的两个核心点：一是如何把新的动态模板配置同步到现有索引，二是如何让已存在的字段也遵循模板规则——毕竟动态模板默认只对新写入的字段生效。下面一步步给你讲清楚：

动态模板是索引映射的一部分，所以你需要给每个符合eks-*模式的现有索引发送PUT映射请求，把你的动态模板添加进去。

单个索引更新示例 #

如果只有少数几个索引，可以直接用curl命令逐个更新：

curl -X PUT "http://你的ES地址:9200/eks-具体索引名/_mapping" -H 'Content-Type: application/json' -d'
{
  "dynamic_templates": [
    {
      "default_no_index": {
        "path_match": "^.*$",
        "path_unmatch": "^(@timestamp|auditID|level|stage|requestURI|sourceIPs|metadata|objectRef|user|verb)(\\..+)?$",
        "match_pattern": "regex",
        "mapping": {
          "index": false,
          "enabled": false
        }
      }
    }
  ]
}'

批量更新所有eks-*索引 #

如果有大量符合模式的索引，可以用shell脚本批量处理：

# 先获取所有符合eks-*模式的索引名
indices=$(curl -s "http://你的ES地址:9200/_cat/indices/eks-*?h=index")

# 循环更新每个索引的映射
for index in $indices; do
  curl -X PUT "http://你的ES地址:9200/$index/_mapping" -H 'Content-Type: application/json' -d'
  {
    "dynamic_templates": [
      {
        "default_no_index": {
          "path_match": "^.*$",
          "path_unmatch": "^(@timestamp|auditID|level|stage|requestURI|sourceIPs|metadata|objectRef|user|verb)(\\..+)?$",
          "match_pattern": "regex",
          "mapping": {
            "index": false,
            "enabled": false
          }
        }
      }
    ]
  }'
done

执行完这一步后，后续写入到这些索引的新字段会自动匹配你的动态模板规则，不会被索引。

这里要注意一个关键限制：Elasticsearch不允许直接修改现有字段的enabled或index属性（这些是字段的核心元数据，一旦创建就无法修改）。所以如果你的现有索引里已经存在一些不在白名单里的字段，并且想让它们也变成index: false、enabled: false的状态，必须通过重新索引数据来实现：

重新索引的具体步骤 #

1. 创建新索引并配置好动态模板：先建一个新的索引（或者用别名来做平滑切换），确保它的映射里已经包含你的动态模板。
2. 用_reindex同步数据：把旧索引的数据同步到新索引，此时新索引会根据动态模板的规则自动处理所有字段的映射。
3. 切换索引指向：如果你的应用是通过别名访问索引，直接把别名切换到新索引；如果是直接指定索引名，就修改应用配置指向新索引，之后可以删除旧索引。

_reindex命令示例 #

curl -X POST "http://你的ES地址:9200/_reindex" -H 'Content-Type: application/json' -d'
{
  "source": {
    "index": "eks-*" # 匹配所有旧的eks索引
  },
  "dest": {
    "index": "eks-reindexed" # 新索引的名称
  }
}'

如果需要更平滑的切换，推荐使用Elasticsearch的别名功能：比如原来应用用eks-data别名访问所有旧索引，现在把新索引添加到别名里，再移除旧索引，全程不会中断服务。

• 动态模板的作用是在新字段首次写入时自动应用映射规则，所以更新现有索引的模板后，新字段会自动生效，不需要再手动干预。
• 你的Elasticsearch版本是7.1，注意7.x版本已经默认使用_doc作为唯一类型，所以映射里不需要指定类型，直接写dynamic_templates是正确的。

内容的提问来源于stack exchange，提问作者dippynark