如何查看AWS Glue作业的Spark UI/DAG？已配置参数后的操作指引

嘿，既然你已经搞定了Spark UI的启用和S3相关配置，那查看作业的DAG和Spark UI其实很简单，我给你分步骤说明：

一、查看作业的DAG #

根据你的作业创建方式，有两种查看途径：

• 如果是用Glue Studio可视化编辑器创建的作业
  1. 登录AWS Glue控制台，在左侧导航栏选择**“作业”**，找到你的目标作业并点击进入详情页
  2. 切换到**“可视化”**标签页，这里直接展示了作业的完整DAG——你能清晰看到数据源、转换节点、目标输出之间的关联关系，点击任意节点还能查看该步骤的具体配置和代码逻辑
• 如果是用Spark脚本创建的作业
  1. 你可以先在Glue Studio中导入你的脚本，转换为可视化模式后查看DAG
  2. 或者直接通过下面的Spark UI查看作业执行时的实际执行DAG（更贴近运行时的真实流程）

二、查看Spark UI #

因为Glue把Spark UI的日志存储在你配置的S3路径中，所以需要通过以下方式访问：

方式1：从作业运行历史记录跳转 #

1. 在Glue作业详情页，切换到**“运行历史记录”**标签，找到对应的作业运行ID并点击进入详情
2. 在运行详情页的**“日志”**区域，点击CloudWatch日志的链接进入日志控制台
3. 在CloudWatch日志中搜索关键词Spark UI，你会找到类似这样的日志条目：

   Spark UI is available at s3://your-configured-bucket/glue-spark-ui-logs/your-job-run-id/

4. 复制这个S3路径，然后通过本地Spark历史服务器加载查看：
   • 确保本地已安装Spark环境，打开终端执行命令：

     spark-class org.apache.spark.deploy.history.HistoryServer --spark.history.fs.logDirectory=s3://your-configured-bucket/glue-spark-ui-logs/your-job-run-id/
     

   • 启动成功后，打开浏览器访问http://localhost:18080，就能看到完整的Spark UI界面，里面包含执行DAG、Stage详情、任务性能指标等所有信息

方式2：直接从S3访问日志文件 #

1. 登录AWS S3控制台，导航到你预先配置的Spark UI存储桶路径
2. 找到对应作业运行ID的文件夹，里面就是Spark UI的日志文件
3. 同样使用上述的Spark历史服务器命令，指定该S3路径来启动本地UI查看

内容的提问来源于stack exchange，提问作者Ankur Shrivastava