通过CloudFormation部署后无法访问Glue作业Spark UI的问题咨询

1. 实例网络基础配置校验 #

• 确认Spark History Server所在的EC2实例部署在公有子网，且已经绑定了可正常访问的公网IP，和CloudFormation Outputs中SparkUiPublicUrl包含的IP地址一致：如果实例部署在私有子网未配置公网出口，公网侧无法直接访问。
• 确认安全组入站规则中开放18080端口的源地址为你当前访问端的公网IP：如果仅配置了VPC内部网段作为源地址，公网访问会被拦截。

2. History Server服务状态校验 #

• 登录到History Server所在EC2实例，执行命令 sudo systemctl status spark-history-server 检查服务是否正常运行，若服务异常可以查看日志/var/log/spark/spark-history-server.out定位报错原因。
• 执行命令 ss -tunlp | grep 18080 确认18080端口处于LISTEN状态，没有被实例内部防火墙拦截。

3. 日志路径匹配校验 #

• 确认Glue作业配置的Spark UI日志投递S3路径，和CloudFormation栈创建时传入的SparkUILogsBucketName参数完全一致：如果History Server没有读取到有效日志，部分版本会直接返回空白页或访问报错。

4. 子网NACL规则校验 #

• 检查EC2实例所在子网的网络访问控制列表(NACL)：入站规则需要开放18080端口的访问，出站规则需要开放临时端口的返回流量，子网级的NACL拦截也会导致公网无法访问服务。

内容的提问来源于stack exchange，提问作者YvonneW