Elasticsearch 6.1 EC2集群节点启动时无法相互发现求助

从你提供的日志和配置来看，核心问题是EC2主机发现插件没有找到任何其他节点，导致每个节点只能检测到自己，无法满足master节点的法定数量要求（需要2个，但只找到1个），所以陷入了循环ping的状态。我给你一步步排查和解决的方案：

1. 确保EC2发现插件版本与ES严格匹配 #

Elasticsearch 6.x开始，EC2发现插件独立为discovery-ec2，并且要求插件版本和ES版本完全一致（比如ES 6.1.0必须搭配6.1.0版本的插件）。版本不匹配会导致插件无法正确调用EC2 API，直接返回空的节点列表。

• 在每个节点上执行命令检查插件：

  elasticsearch-plugin list
  

• 如果没有discovery-ec2或者版本不对，重新安装对应版本的插件：

  elasticsearch-plugin install discovery-ec2 -v 6.1.0
  

  安装完成后重启节点。

2. 验证IAM角色权限 #

EC2发现插件需要调用AWS的ec2:DescribeInstancesAPI来获取符合标签的实例，所以节点的IAM角色必须具备这个权限：

• 检查节点所在IAM角色的策略，确保包含以下内容：

  {
    "Version": "2012-10-17",
    "Statement": [
      {
        "Effect": "Allow",
        "Action": "ec2:DescribeInstances",
        "Resource": "*"
      }
    ]
  }
  

• 如果权限缺失，更新IAM策略后重启节点（或者等待IAM权限生效，通常几分钟内）。

3. 确认CloudFormation标签变量已正确替换 #

你配置里的@@STACK、@@APP、@@STAGE是CloudFormation的占位符，必须确保这些变量已经被正确替换为实际的标签值：

• 登录节点查看实际生效的elasticsearch.yml文件，检查discovery.ec2.tag.Stack等配置项是否是真实的标签内容，而不是保留占位符。
• 如果占位符未替换，检查CloudFormation模板的替换逻辑，确保这些变量在部署时被正确填充。

4. 检查VPC与安全组配置 #

• VPC一致性：所有节点必须在同一个VPC内，因为你使用的是EC2私有IP（_ec2:privateIp_），跨VPC的私有IP无法直接通信。
• 安全组端口开放：节点之间的9300端口（Elasticsearch节点间通信端口）必须完全开放，确保安全组规则允许同VPC内的所有节点访问该端口。
• EC2 API访问：如果节点在私有子网，需要配置VPC端点（针对EC2服务）或者NAT网关，确保节点能够正常访问AWS的EC2 API端点，否则插件无法获取实例列表。

5. 确认master节点配置与法定数量 #

• 检查每个节点的node.master配置，默认是true，如果某个节点被设置为node.master: false，它不会被算作master候选节点。如果你是3个节点的集群，建议所有节点都设置为master-eligible（node.master: true）。
• discovery.zen.minimum_master_nodes设置为2是正确的（公式：(总master节点数/2)+1），这个配置没问题，但前提是能发现至少2个master候选节点。

额外调试建议 #

如果以上步骤都排查完还是有问题，可以在elasticsearch.yml里添加更详细的EC2发现日志：

logger.org.elasticsearch.discovery.ec2: TRACE
logger.org.elasticsearch.cloud.aws: TRACE

重启节点后查看日志，会输出插件调用EC2 API的详细过程，包括请求参数、返回结果，能帮你定位是API调用失败还是标签匹配不到实例。

内容的提问来源于stack exchange，提问作者sihil