Spark写入Synapse时truncate参数未按预期生效问题求助

核心原因 #

Databricks的Synapse专用池连接器（com.databricks.spark.sqldw）在overwrite模式下，哪怕指定了truncate=true，底层依然会执行删除原表→重建表→写入数据的流程，这就是表创建日期每次更新的根源。官方文档对truncate参数的描述存在歧义，实际该参数并未改变连接器overwrite模式的核心逻辑。

临时方案有效的原因 #

你用preActions先执行truncate table再配合append模式的思路，绕开了连接器的overwrite逻辑：直接清空原表数据，再追加写入新数据，全程不会修改表结构或重建表，因此表的创建日期不会改变。

更规范的写法优化 #

你的临时方案本身可行，可以调整写法提升代码的安全性和可读性：

df.write \
    .format("com.databricks.spark.sqldw") \
    .option("url", synapse_jdbc) \
    .option("tempDir", tempDir) \
    .option("useAzureMSI", "true") \
    .option("dbTable", table_name) \
    .option("preActions", f"TRUNCATE TABLE {table_name}") \
    .mode("append") \
    .save()

补充说明 #

• 确保执行代码的MSI账户拥有Synapse专用池表的TRUNCATE和INSERT权限，否则preActions会执行失败
• 如果需要同步更新表结构，仍需使用overwrite模式，接受表创建日期更新的结果
• 目前Databricks Synapse连接器暂不支持overwrite模式下仅截断数据不重建表的原生逻辑，因此preActions+append是当前最可靠的实现方式

内容的提问来源于stack exchange，提问作者irfan ijaz