AWS OpenSearch 主节点不足报错 随机返回503状态码求解决建议

根因说明 #

你遇到的间歇性503报错本质是集群主节点选举失败导致的服务不可用。错误日志中not enough master nodes discovered during pinging (found [...], but needed [2])说明你集群配置的主节点选举法定人数为2，当前集群仅能发现1个符合条件的主节点，无法完成选举流程，因此会间歇性拒绝客户端请求，出现同一条请求有时成功有时失败的现象。

排查与解决建议 #

• 核查专有主节点配置合规性：AWS OpenSearch要求专有主节点数量必须为奇数，选举法定人数的计算规则为 (专有主节点数量 / 2) + 1。如果你当前仅配置了2个专有主节点，本身就不符合集群高可用规则，直接调整为3个专有主节点即可解决法定人数不满足的问题。
• 检查节点与可用区状态：如果你开启了多可用区部署，首先确认所有专有主节点的运行状态，排查是否有节点处于离线、异常状态；同时确认对应区域的AWS可用区是否存在临时网络故障、基础设施故障，导致部分主节点无法被集群发现。
• 恢复故障节点：如果存在离线的专有主节点，可以先在控制台尝试重启异常节点；如果是AWS底层基础设施故障导致节点无法恢复，直接提交AWS支持工单，申请后台置换故障实例，托管OpenSearch服务的底层硬件故障官方会负责修复。
• 临时业务恢复方案：如果业务受影响严重，可以先临时扩容专有主节点到3个，先满足选举法定人数要求恢复集群可用性，后续再定位故障根因。

内容的提问来源于stack exchange，提问作者Ignasi