AWS Glue配置FAIR调度XML后，Spark UI未显示调度池怎么办？

以下是针对该问题的逐一排查方向及解决方案：

1. 确认调度配置文件的路径与权限 #

• 脚本中spark.scheduler.allocation.file必须指定S3完整路径，例如：s3://your-bucket/path/fairscheduler.xml，不能使用相对路径。Glue任务的"参考路径"仅用于权限授权，无法替代Spark所需的明确文件路径。
• 检查Glue任务关联的IAM角色，确保拥有该S3对象的s3:GetObject权限，否则Spark无法读取配置文件。

2. 验证fairscheduler.xml格式合法性 #

Spark对FAIR调度配置的XML格式有严格要求，确保结构正确无语法错误，示例正确格式如下：

<allocations>
  <pool name="pool1">
    <schedulingMode>FIFO</schedulingMode>
    <weight>2</weight>
    <minShare>2</minShare>
  </pool>
  <pool name="pool2">
    <schedulingMode>FIFO</schedulingMode>
    <weight>1</weight>
    <minShare>1</minShare>
  </pool>
</allocations>

注意标签闭合、属性引号等细节，格式错误会导致Spark直接忽略配置。

3. 检查SparkConf的设置时机 #

必须在SparkContext初始化之前配置FAIR调度参数，否则配置无法生效。示例正确的初始化顺序：

from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job

# 先获取或创建SparkContext并修改配置
sc = SparkContext.getOrCreate()
sc._conf.set("spark.scheduler.mode", "FAIR")
sc._conf.set("spark.scheduler.allocation.file", "s3://your-bucket/fairscheduler.xml")

# 再初始化GlueContext和Job
glueContext = GlueContext(sc)
job = Job(glueContext)
job.init(args['JOB_NAME'], args)

避免在SparkContext创建完成后通过spark.conf.set()修改调度配置。

4. 排查Glue任务控制台配置的冲突 #

• 进入Glue任务控制台的"Spark参数"配置项，确认没有设置spark.scheduler.mode=FIFO这类覆盖脚本配置的参数。
• 确认任务的"参考路径"已包含XML文件所在的S3前缀，确保Glue能访问该文件所在的存储资源。

5. 通过日志定位问题 #

• 前往CloudWatch日志，搜索fairscheduler或allocation file关键词，查看是否存在"Failed to load fair scheduler allocation file"类错误，直接定位文件读取失败或格式错误问题。
• 检查Spark启动日志，确认spark.scheduler.allocation.file参数是否正确加载，以及XML文件是否被成功解析。

内容的提问来源于stack exchange，提问作者pbh