AWS ElasticSearch状态为红且报master_not_discovered_exception如何恢复

故障根因 #

你返回的master_not_discovered_exception错误明确指向主节点选举失败：
Elasticsearch 主节点选举遵循过半原则，即存活的符合主节点资格的节点数量必须超过总主节点资格节点数的1/2才能完成选举。你当前集群仅配置了2个主节点，其中1个离线后，剩余1个节点无法满足选举要求，导致集群无主，所有操作被拒绝，状态变为Red。

可选择的恢复方案 #

方案一：恢复离线节点（数据零丢失优先选择） #

1. 前往AWS控制台定位离线节点实例，排查离线原因：
   • 若为内存OOM导致进程宕机，直接重启实例即可，节点启动后会自动重连集群
   • 若为实例硬件故障，使用该节点的最近EBS快照重建实例，保持原有IP和配置不变
2. 离线节点恢复上线后，主节点数恢复为2，满足选举条件，集群会自动选举主节点，逐步同步分片恢复正常。

方案二：调整选举阈值（离线节点无法恢复时使用） #

如果离线节点彻底无法找回，可以手动修改存活节点的选举配置临时恢复集群：

1. 登录存活的Elasticsearch节点，编辑配置文件elasticsearch.yml：
   • ES 6.x及更早版本：修改discovery.zen.minimum_master_nodes: 1
   • ES 7.x及更新版本：修改cluster.initial_master_nodes: ["当前存活节点的名称"]
2. 重启Elasticsearch进程，节点会选举自身为主，集群恢复可用
3. 集群恢复后必须立即新增1个主节点，再将选举阈值调整回2，避免后续出现单点故障。

方案三：重建集群（允许数据丢失时使用） #

如果集群无重要数据或已有完整备份，可以直接销毁旧集群，重新创建符合生产规范的集群：

• 生产环境主节点必须配置为奇数个，最少3个，从架构上避免过半选举失败的问题
• 所有节点配置内存使用率告警，阈值设置为75%，避免OOM导致节点宕机。

后续优化建议 #

• 堆内存配置设置为物理内存的50%，最大不超过31G，降低OOM概率
• 拆分节点角色，主节点不承担数据写入、查询压力，提升稳定性
• 配置自动快照策略，出现故障时可快速恢复数据

内容的提问来源于stack exchange，提问作者Kalvin Klien