AWS Glue任务因SparkContext关闭报错求助：连续任务创建阈值触发

问题场景回顾 #

• Glue版本4.0，Python3，2个工作节点
• 额外配置包含Delta Lake扩展及Parquet日期/时间重基模式设置
• 仅处理约1000条本地表数据，需加载至raw、trusted、refined三层
• 已尝试增加节点数、调整节点类型，问题未解决

解决方案 #

1. 调整Spark任务并行度，减少任务拆分粒度 #

小数据量下，Spark默认分区数会生成过多细粒度任务，触发连续任务创建阈值。在额外配置中添加：

conf.set("spark.sql.shuffle.partitions", "4")  # 与工作节点数匹配，2节点设2或4即可
conf.set("spark.default.parallelism", "4")     # 控制RDD默认并行度

读取数据后合并分区，避免小文件触发多任务：

# 读取数据后合并分区
raw_df = glueContext.create_dynamic_frame.from_options(...).toDF()
raw_df = raw_df.coalesce(2)  # 合并为与节点数一致的分区数

2. 调大连续任务创建阈值 #

直接修改Spark调度器允许的连续任务创建上限，在额外配置中添加：

conf.set("spark.scheduler.maxConsecutiveTaskCreation", "1000")

该参数控制单次可创建的连续任务数量，默认值较低时易触发此报错。

3. 优化写入逻辑，减少小文件生成 #

写入各层时控制单文件记录数，降低任务数量：

# 写入raw层示例
raw_df.write.format("delta") \
    .option("maxRecordsPerFile", 1000) \
    .mode("overwrite") \
    .save("s3://your-bucket/raw/table/")

尽量在单个DataFrame转换流程中完成三层数据处理，避免多次读写导致任务叠加。

4. 验证Delta Lake配置适配性 #

Glue 4.0已内置Delta Lake支持，检查是否存在配置冲突：

# 若使用Glue原生Catalog，可替换Delta Catalog配置
conf.set("spark.sql.catalog.spark_catalog", "com.amazonaws.glue.catalog.AWSGlueCatalog")

内容的提问来源于stack exchange，提问作者Fabiano Carvalho