ELK 8.5集群elastic与kibana_system认证失败及集群RED问题求助

一、先排查集群RED状态的原因（核心前提） #

集群RED是导致密码重置失败的直接原因，优先解决集群连通性问题：

1. 检查节点核心配置一致性

   • 登录每个节点，查看/etc/elasticsearch/elasticsearch.yml，确保以下配置所有节点完全一致：
     • cluster.name: 集群名称必须统一
     • cluster.initial_master_nodes: 包含所有3个节点的node.name，例如["node-1", "node-2", "node-3"]
     • xpack.security.transport.ssl.enabled: true（集群节点间必须启用SSL通信，否则无法建立信任关系）
   • 验证SSL证书权限：检查xpack.security.transport.ssl.certificate_authorities、xpack.security.transport.ssl.certificate、xpack.security.transport.ssl.key指向的文件是否存在，且所属用户/组为elasticsearch:elasticsearch，权限设置为600

2. 确认节点间通信端口与防火墙

   • 测试节点间9300端口（Elasticsearch集群通信端口）连通性：

     # 在节点1测试连接节点2的9300端口
     nc -zv node-2-IP 9300
     

   • 若端口不通，开放端口（以firewalld为例）：

     sudo firewall-cmd --add-port=9300/tcp --permanent
     sudo firewall-cmd --reload
     

3. 从日志定位集群故障细节

   • 查看每个节点的/var/log/elasticsearch/elasticsearch.log，搜索master not discovered、failed to connect to node或SSL相关错误，明确节点无法加入集群的具体原因（如证书不匹配、节点名称配置错误）

二、恢复集群健康后重置用户密码 #

当集群状态恢复为Yellow或Green后，执行以下步骤重置密码：

1. 重置elastic用户密码

   • 切换到elasticsearch用户执行命令（避免权限问题）：

     sudo -u elastic /usr/share/elasticsearch/bin/elasticsearch-reset-password -i -u elastic
     

   • 按提示输入新密码并记录

2. 重置kibana_system用户密码

   • 执行命令重置kibana_system账号密码：

     sudo -u elastic /usr/share/elasticsearch/bin/elasticsearch-reset-password -i -u kibana_system
     

3. 更新Kibana配置并重启服务

   • 编辑/etc/kibana/kibana.yml，将elasticsearch.password字段替换为刚重置的kibana_system密码
   • 重启Kibana服务：

     sudo systemctl restart kibana
     

三、验证修复效果 #

1. 测试Elasticsearch本地连接：

   curl --cacert /etc/elasticsearch/certs/http_ca.crt -XGET "https://localhost:9200/_cat/indices?v" -u elastic
   

   输入新密码后应正常返回索引列表

2. 访问https://kibana_IP:5601，使用elastic用户新密码登录，验证Kibana是否可正常访问

内容的提问来源于stack exchange，提问作者Linux_Admin