如何在同一Glue Job中根据update_mode切换Spark配置

不需要拆分两个独立Job，直接在现有Job里动态修改Spark配置就能实现需求，具体步骤如下：

1. 获取Job参数
   先通过Glue工具类获取传入的update_mode参数：

   import sys
   from awsglue.utils import getResolvedOptions
   
   # 解析Job参数
   args = getResolvedOptions(sys.argv, ['update_mode'])
   update_mode = args['update_mode']
   

2. 动态设置Spark配置
   直接使用Glue已创建的SparkSession，根据参数值修改spark.sql.sources.partitionOverwriteMode配置：

   from pyspark.sql import SparkSession
   
   # 获取Glue管理的SparkSession（不要自行新建，避免上下文冲突）
   spark = SparkSession.builder.getOrCreate()
   
   # 根据update_mode切换配置
   if update_mode == 'full_overwrite':
       spark.conf.set("spark.sql.sources.partitionOverwriteMode", "static")
   elif update_mode == 'upsert':
       spark.conf.set("spark.sql.sources.partitionOverwriteMode", "dynamic")
   else:
       raise ValueError(f"非法的update_mode值：{update_mode}，仅支持'full_overwrite'或'upsert'")
   

3. 执行数据写入操作
   后续的DataFrame写入操作会自动使用刚才设置的配置：

   # 示例：按分区写入表，模式设为overwrite
   your_dataframe.write.mode("overwrite").partitionBy("your_partition_column").saveAsTable("target_table")
   

为什么之前新建两个SparkSession无效？ #

Glue Job启动时会自动初始化并管理一个SparkSession，你手动新建的Session会和Glue的上下文冲突，而且Spark在同一JVM进程中只会维护一个活跃的Session实例，重复创建不会生成独立的配置环境，所以无法达到预期效果。

内容的提问来源于stack exchange，提问作者Jatin