AWS Glue 4.0中Spark UI查看与大日志文件参数调整咨询

问题1：如何在AWS Glue 4.0中查看Spark UI #

• 通过Glue控制台直接访问
  1. 登录AWS管理控制台，进入Glue服务页面
  2. 左侧导航栏选择ETL jobs，定位到目标作业
  3. 进入作业详情页，切换至Runs标签
  4. 找到目标作业实例，点击Spark UI链接即可打开界面
• 通过CloudWatch日志访问
  1. 确保作业已配置将Spark日志发送至CloudWatch（作业配置中启用Job metrics and logs）
  2. 进入CloudWatch控制台，找到对应作业的日志组
  3. 在日志流中查找包含Spark UI入口的日志条目，点击链接访问

问题2：能否修改参数支持查看更大的Spark UI日志文件 #

AWS Glue默认设置Spark UI日志文件的最大限制为512MB，当前无法通过参数直接修改这个上限。可以通过以下方案规避：

• 降低日志级别：减少日志输出量，在作业的Job parameters中添加参数：

  --conf spark.driver.log.level=WARN
  --conf spark.executor.log.level=WARN
  

• 配置日志滚动：将大日志分割为多个小文件，添加参数示例：

  --conf spark.executor.logs.rolling.maxSize=100MB
  --conf spark.executor.logs.rolling.strategy=size
  --conf spark.executor.logs.rolling.maxFiles=20
  

• 直接查看CloudWatch原始日志：若Spark UI无法加载大文件，可直接在CloudWatch中查看完整日志，不受512MB限制

内容的提问来源于stack exchange，提问作者user3858193