Elasticsearch‘字段数超限[1000]’错误与集群性能问题的关联及解决咨询

错误信息 #

[2024-02-07T12:29:58,861][ERROR][o.e.x.w.Watcher          ] [node-1] watch history could not be written [WATCH_32_ALERT_5_c048-6e01-43b7-b1aa-2024-02-07T12:29:58.108385427Z], failure [java.lang.IllegalArgumentException: Limit of total fields [1000] has been exceeded]

核心问题 #

• 该错误与集群性能问题是否存在关联？
• 若存在关联，原因是什么？
• 如何彻底消除错误及性能问题？

已尝试操作 #

• 删除自动生成的.watcher-history-*索引并重启集群，重启后性能短暂提升，但一段时间后错误和性能问题再次出现。

性能问题表现 #

• 搜索延迟显著
• 仪表板无数据加载
• CPU使用率居高不下

集群详情 #

ELK Stack Details -

ELK Version: 7.11.1
ES Node: 3
Dedicated servers for Kibana and logstash
JVM Heap: 48 GB
Indices: 316
Total Shard: 632
Documents: 1,341,422,500
Data: 1.1 TB
Kibana Users: 154
Watcher Scripts: 140

问题分析与解决方案 #

1. 错误与性能问题的关联 #

两者存在直接关联。

2. 根本原因 #

• Watcher写入历史记录到.watcher-history-*索引时，因每个watch的告警字段过多，导致该索引的字段总数超过Elasticsearch默认的index.mapping.total_fields.limit（默认值1000）。
• 字段超限后，Watcher持续尝试写入失败，生成大量错误日志，同时集群不断处理这些失败请求，占用CPU、内存等资源，进而引发搜索延迟、仪表板加载失败等性能问题。
• 仅删除索引重启只能临时清空字段计数，但Watcher持续运行会不断生成新的告警字段，很快再次触发字段超限，导致问题复发。

3. 彻底解决方法 #

方法一：调整Watcher历史索引的字段限制

修改.watcher-history-*索引的字段上限参数，同时通过索引模板确保新生成的历史索引自动应用设置：

# 修改现有Watcher历史索引的字段限制
PUT .watcher-history-*/_settings
{
  "index.mapping.total_fields.limit": 2000  # 根据实际需求调整数值，比如2000或更高
}

# 创建索引模板，覆盖所有.watcher-history-*索引
PUT _index_template/watcher-history-template
{
  "index_patterns": [".watcher-history-*"],
  "template": {
    "settings": {
      "index.mapping.total_fields.limit": 2000
    }
  }
}

方法二：优化Watcher脚本，减少字段数量

• 检查140个Watcher脚本，合并重复或非必要的字段输出，仅保留告警关键信息。
• 统一告警输出的字段结构，避免每个watch生成独特的字段，比如通过预处理逻辑标准化输出内容。

方法三：配置ILM自动清理旧历史数据

设置索引生命周期策略，自动删除过期的Watcher历史数据，减少字段累积：

# 创建ILM策略
PUT _ilm/policy/watcher-history-policy
{
  "policy": {
    "phases": {
      "hot": {
        "actions": {
          "rollover": {
            "max_age": "7d",
            "max_size": "50GB"
          }
        }
      },
      "delete": {
        "min_age": "30d",
        "actions": {
          "delete": {}
        }
      }
    }
  }
}

# 将策略绑定到Watcher历史索引
PUT .watcher-history-*/_settings
{
  "index.lifecycle.name": "watcher-history-policy"
}

方法四：升级ELK版本（可选）

7.11.1属于较旧版本，后续版本对Watcher的字段处理逻辑有优化，升级到7.17.x或8.x稳定版，既能减少此类问题发生，也能提升集群整体性能。

内容的提问来源于stack exchange，提问作者Souvik Das