如何为Glue交互式Notebook启用Spark UI？含作业时S3存日志方式

一、如何为Glue交互式Notebook启用Spark UI #

• 打开AWS Glue控制台，进入交互式Notebooks页面。
• 创建新Notebook时：在会话配置的额外Spark配置中添加以下参数：

  spark.ui.enabled=true
  spark.ui.port=4040
  

  会话启动后，Notebook界面会出现Spark UI入口，点击即可访问实时监控界面。
• 编辑已有Notebook会话：先终止当前会话，重新启动时按上述步骤添加Spark配置参数即可。

二、能否通过S3存储日志的方式为Notebook运行的Glue作业启用Spark UI？ #

可以，具体操作如下：

1. 配置作业日志存储：在Glue作业配置的日志选项中，指定S3桶路径用于存储作业日志（示例：s3://your-log-bucket/glue-job-logs/）。
2. 添加Spark配置参数：在作业的额外Spark配置中加入以下参数，启用Spark事件日志并指定S3存储路径：

   spark.ui.enabled=true
   spark.eventLog.enabled=true
   spark.eventLog.dir=s3://your-event-log-bucket/spark-event-logs/
   

3. 访问Spark UI的方式：
   • 运行作业后，在Glue作业详情页面找到Spark UI链接，Glue会自动代理该界面；
   • 部署Spark History Server并指向S3中的事件日志目录，通过History Server查看历史Spark UI数据。

内容的提问来源于stack exchange，提问作者user3858193