Spark通过JDBC写入SQL Server表时出现SQL类型-151错误求助

错误根源 #

Unrecognized SQL type -151错误是Spark JDBC连接器与SQL Server 2005的类型映射不兼容导致的。SQL Server 2005不支持datetimeoffset这类较新的SQL类型，而你的DataFrame中可能存在Spark自动映射为该类型的字段（比如Spark的TimestampType在部分场景下会被驱动识别为datetimeoffset）。

数据能成功保存的原因是JDBC驱动在写入环节做了自动降级处理（比如将datetimeoffset转成SQL Server 2005支持的datetime），但后续的元数据校验步骤仍抛出了类型不识别的错误。

解决方法 #

• 排查并转换不兼容字段：先查看DataFrame的Schema，定位可能触发问题的字段（多为时间类型），将其转换为SQL Server 2005支持的类型。示例代码：

  # 将目标时间字段转换为timestamp类型
  df_cards = df_cards.withColumn("target_time_col", df_cards["target_time_col"].cast("timestamp"))
  

• 手动指定表列类型：写入JDBC时，通过createTableColumnTypes参数强制指定每个列对应的SQL Server数据类型，覆盖自动映射逻辑。示例：

  df_cards.write.jdbc(
      url=conn_str,
      table=tablename,
      mode='append',
      properties={**properties, "createTableColumnTypes": "target_time_col datetime, string_col varchar(255)"}
  )
  

• 使用兼容的JDBC驱动版本：SQL Server 2005需搭配适配的旧版本JDBC驱动（比如Microsoft JDBC Driver for SQL Server 4.0及以下版本），避免使用过高版本的驱动（高版本会移除对旧数据库的类型支持）。
• 关闭元数据有效性检查：若上述方法无效，可尝试关闭Spark的JDBC元数据校验（注意：此操作会跳过类型合法性检查，存在一定风险）：

  # 初始化SparkSession时添加配置
  spark = SparkSession.builder \
      .config("spark.sql.sources.jdbc.checkValidity", "false") \
      .getOrCreate()
  

内容的提问来源于stack exchange，提问作者Moisés