如何在CloudFormation脚本中引用EMR集群主实例以挂载负载均衡？

我来帮你梳理下用CloudFormation创建EMR集群并关联负载均衡的关键配置点，结合你给出的代码片段，补充和优化如下：

首先，先把你提供的不完整EMR集群定义整理成规范的YAML格式：

EmrCluster:
  Type: "AWS::EMR::Cluster"
  DependsOn: "nat0a30a49f0c2913dc4"
  Properties:
    Name: "EmrCluster"
    Applications:
      - { "Name": "Spark" }
      - { "Name": "Hive" }
      - { "Name": "Hadoop" }
      - { "Name": "Livy" }
      - { "Name": "Hue" }
      - { "Name": "Zeppelin" }
    Instances:
      AdditionalMasterSecurityGroups:
        # 这里需要引用允许负载均衡访问的安全组ARN或ID

接下来是几个核心配置要点，直接影响负载均衡能否正常连接EMR主节点：

• 安全组权限配置
  EMR主节点的安全组（包括你代码里的AdditionalMasterSecurityGroups）必须开放对应服务的端口给负载均衡的安全组。比如你启用的这些服务常用端口：

  • Hue: 8888
  • Livy: 8998
  • Zeppelin: 8080
    你需要在安全组的入站规则中，添加负载均衡安全组的访问权限，指定上述对应端口，确保流量能从负载均衡到达主节点。

• 负载均衡目标组配置
  要把EMR主节点挂到负载均衡上，首先得创建一个目标组，然后将主节点注册进去。下面是CloudFormation中目标组的示例代码：

  EmrMasterTargetGroup:
    Type: AWS::ElasticLoadBalancingV2::TargetGroup
    Properties:
      Name: EmrMasterTargetGroup
      Port: 8888 # 这里以Hue为例，可根据你要暴露的服务调整
      Protocol: HTTP
      VpcId: !Ref YourVpcId # 替换成你的VPC ID
      TargetType: instance
      Targets:
        - Id: !GetAtt EmrCluster.MasterInstanceId # 通过EMR集群资源获取主节点实例ID
  

  之后再创建一个监听器，把负载均衡的前端端口（比如80）指向这个目标组，这样外部流量就能通过负载均衡转发到EMR主节点的服务上。

• 正确引用EMR主节点资源
  在CloudFormation里，AWS::EMR::Cluster资源提供了MasterInstanceId和MasterPublicDNS这两个关键属性，用来获取主节点的实例信息，你可以用!GetAtt函数来引用这些值，从而把主节点注册到目标组中。另外要确认你指定的DependsOn资源（nat0a30a49f0c2913dc4）确实是EMR集群依赖的网络资源（比如NAT网关），确保网络环境先于EMR集群创建完成。

• 服务状态验证
  集群创建完成后，别忘了验证你启用的Hue、Livy等服务是否正常启动。可以通过EMR控制台的集群详情页查看服务状态，或者登录主节点执行命令（比如sudo systemctl status hue）来确认服务运行正常。

内容的提问来源于stack exchange，提问作者Amin Movahed