PySpark升级至3.5.6后Overwrite操作触发‘不支持批量截断’分析异常

问题原因 #

PySpark 3.5.6版本对数据源写入逻辑做了调整，默认启用了spark.sql.sources.truncateBeforeWrite.enabled配置（默认值改为true）。当执行mode("overwrite")的saveAsTable操作时，会优先尝试truncate表而非传统的删除重建表，但Delta Lake表在批量模式下不支持原生truncate操作，因此触发该报错。

解决方案 #

以下几种方案均可解决该问题，按需选择：

1. 写入时禁用truncate模式 #

在DataFrame的write语句中添加option("truncate", "false")，强制Spark使用删除重建的方式覆盖表：

df.write.format("delta")
       .mode("overwrite")
       .option("truncate", "false")
       .saveAsTable(f"{spark_catalog}.{spark_database}.{table_name}")

2. 全局禁用truncateBeforeWrite配置 #

在SparkSession初始化时添加全局配置，彻底关闭truncate优先的逻辑：

session_builder = (
    SparkSession.builder.appName("PySpark Automated Testing")
    # 保留其他原有配置
    .config("spark.sql.sources.truncateBeforeWrite.enabled", "false")
)

3. 同步Delta Lake版本至兼容Spark 3.5.6的版本 #

确保Delta Lake版本与Spark 3.5.6兼容（推荐Delta 2.4.0及以上版本），部分旧版Delta可能未适配Spark 3.5.6的新写入逻辑，升级Delta依赖后问题可能自动解决。

验证 #

执行修改后的代码重新运行单元测试，Overwrite操作应正常执行，不再抛出AnalysisException。

内容的提问来源于stack exchange，提问作者Nicholas Fiorentini