升级至Spark 3.3.0后动态分区覆盖模式部分脚本失效问题咨询

不少用户升级到Spark 3.3.0后都碰到过类似问题：全局通过Spark.conf.set("spark.sql.sources.partitionOverwriteMode", "dynamic")设置的动态分区覆盖，在部分脚本里不生效，写入时会删掉整个目录而非指定分区，只有在写入语句里加.option("partitionOverwriteMode", "dynamic")才恢复正常，同时还有部分脚本用全局配置就能正常运行。

可能的原因 #

• 写入操作类型差异：Spark 3.x对不同写入API的配置继承逻辑做了调整。比如使用insertInto写入已有外部表时，全局配置可能不会自动覆盖表本身的存储属性；而saveAsTable或写入新表的场景，全局配置仍能生效。
• 配置优先级调整：Spark 3.3.0中，写入语句的option参数优先级被进一步提高，当目标表存在预定义的分区写入配置时，会直接忽略全局的spark.sql.sources.partitionOverwriteMode设置。
• 表存储格式影响：写入Parquet、ORC等列式存储的外部表时，全局配置的生效逻辑和2.4.3版本不同，需要显式指定参数才能触发动态分区覆盖。

解决建议 #

• 显式在写入语句中添加partitionOverwriteMode参数，不要依赖全局配置，这是最稳妥的方式，避免不同场景下的配置生效差异：

  df.write
    .mode("overwrite")
    .option("partitionOverwriteMode", "dynamic")
    .saveAsTable("target_table")
  

• 检查差异脚本的写入目标：如果失效的脚本是写入外部表，可对比正常脚本的表类型（内部表/临时表），确认是否是表属性导致的配置不继承。
• 排查脚本中的其他冲突配置：比如是否有其他地方通过SET语句或者表属性覆盖了partitionOverwriteMode，部分脚本可能隐含了不同的配置逻辑。

内容的提问来源于stack exchange，提问作者sgallagher