Databricks升级至7.4运行时后写入带IDENTITY列的Azure Synapse表报错如何解决

从Databricks Runtime 7.0版本开始，内置的Azure Synapse连接器发生了不兼容的行为变更，直接触发了Synapse的IDENTITY列校验规则：

• 旧版Runtime 6.4及更早环境下，连接器写入时会自动探测目标表的IDENTITY自增属性，生成INSERT语句时主动跳过这类列，完全匹配Synapse默认的自增列写入规则
• 升级到Runtime 7.4后，新版连接器生成写入语句时，会默认拉取目标表的全量列清单，哪怕Spark DataFrame中没有对应列，也会为IDENTITY列补占位值，相当于隐式给自增列做了显式赋值，直接触发“必须指定列列表且开启IDENTITY_INSERT才能给IDENTITY列赋值”的报错。

按推荐优先级从高到低排列：

方案1：显式列映射，从根源规避IDENTITY列写入（最推荐） #

不要依赖连接器自动匹配dbTable的全表结构，改成用query参数指定无数据的元数据查询，让连接器仅识别和DF匹配的非自增列，完全不会把IDENTITY列纳入写入逻辑：

1. 修改write_adw函数的写入配置，替换原有的dbTable参数：

   df_target_adw.write.format("com.databricks.spark.sqldw") \
       .option("url", jdbc_url) \
       .option("useAzureMSI", "true") \
       .option("preActions", pre_Actions) \
       # 替换原.option("dbTable", table) 配置
       .option("query", f"(SELECT [Source Name], IsRowActive, PipelineId, ADFCreatedDateTime, ADFModifiedDateTime FROM {table} WHERE 1=0) AS write_meta") \
       .option("tempDir", tempDir) \
       .mode(option_mode) \
       .save()
   

2. 配置里的WHERE 1=0仅用于让连接器读取目标表的列元数据，不加载实际业务数据；生成的INSERT语句只会包含DF中存在的、和目标表非自增列匹配的字段，完全跳过SourceSID这个IDENTITY列，不需要额外调整Synapse的表属性。

方案2：通过中转staging表实现写入隔离 #

如果需要保留原有的dbTable配置逻辑，可以通过preActions自建和DF结构完全匹配的中转表，隔离正式表的IDENTITY结构：

1. 把原有的pre_Actions从单条SELECT GETDATE()调整为：

   -- 清理历史临时表
   IF OBJECT_ID('staging_TargetTable_name') IS NOT NULL
   DROP TABLE staging_TargetTable_name;
   -- 创建仅和DF结构匹配的中转表，不包含SourceSID自增列
   CREATE TABLE staging_TargetTable_name (
     [Source Name] VARCHAR(20) NOT NULL,
     IsRowActive BIT NOT NULL,
     PipelineId VARCHAR(20) NOT NULL,
     ADFCreatedDateTime DATETIME NOT NULL,
     ADFModifiedDateTime DATETIME NOT NULL
   );
   

2. 把写入的目标表临时指向这个staging表，DF数据完成中转后，再通过Synapse内置的能力把staging表的数据插入正式表，由正式表自动生成SourceSID自增值。

• 注意：这种方式不要随意给正式表开启IDENTITY_INSERT，由于DF中没有SourceSID的实际值，强行开启会触发列不匹配的新报错。

方案3：临时兼容（仅推荐测试环境使用） #

如果需要临时跳过校验快速跑通，可以在preActions中手动开启IDENTITY_INSERT开关，同时在DF中手动为SourceSID列补占位值，完成写入后再关闭开关。这种方式会打乱自增列的序列连续性，容易引发后续主键冲突，不适合生产环境长期使用。

内容的提问来源于stack exchange，提问作者Idleguys