在Databricks用PySpark向Azure Synapse的bigint列写入int值报错

问题根源 #

虽然SQL Server/Synapse允许int值隐式插入bigint列（SSMS的INSERT成功就是这个原因），但PySpark通过JDBC写入时，驱动会严格校验Java层面的数据类型匹配：

• PySpark中的int类型对应Java的Integer
• Synapse的bigint类型对应Java的Long
  即使你的Spark配置spark.sql.storeAssignmentPolicy=Legacy、spark.sql.ansi.enabled=false，这些配置仅作用于Spark内部的类型转换，不影响JDBC驱动与Synapse之间的类型校验逻辑，所以驱动尝试把Integer强制转成Long时抛出ClassCastException。

解决方法 #

方法1：显式转换DataFrame列类型（推荐） #

在写入前，将目标列的类型显式转为long，确保与Synapse的bigint类型匹配：

# 替换your_column为实际列名
df = df.withColumn("your_column", df["your_column"].cast("long"))
# 执行写入
df.write.format("jdbc").options(
    url="your_synapse_jdbc_url",
    dbtable="your_table",
    user="your_user",
    password="your_password"
).mode("append").save()

方法2：指定自定义JDBC Schema #

在写入时通过customSchema选项，强制JDBC驱动按BIGINT类型处理目标列：

df.write.format("jdbc").options(
    url="your_synapse_jdbc_url",
    dbtable="your_table",
    user="your_user",
    password="your_password",
    # 替换your_column为实际列名，其他列可按需添加
    customSchema="your_column BIGINT"
).mode("append").save()

方法3：调整JDBC类型转换模式（全局配置） #

修改Spark的spark.sql.jdbc.typeConversionMode为relaxed，允许驱动在类型兼容时自动转换：

# 全局配置，需在写入前执行
spark.conf.set("spark.sql.jdbc.typeConversionMode", "relaxed")
# 执行写入
df.write.format("jdbc").options(...).save()

注意：这个配置会影响所有JDBC写入操作，若有其他严格类型匹配的场景需谨慎使用。

内容的提问来源于stack exchange，提问作者LearneR