Spark SQL创建Dates表后SQL Server查询出现批量加载数据转换错误

可能的原因及对应解决方案 #

1. 强制关闭Spark写入时的表头输出 #

即使是新建表，Spark通过JDBC写入SQL Server时，部分配置场景下仍会默认输出表头到数据文件，导致SQL Server批量加载时将表头识别为数据行触发类型不匹配。写入时添加以下配置即可解决：

// Scala示例，Python/Java可对应调整语法
spark.write
  .format("jdbc")
  .option("url", "jdbc:sqlserver://your-server:1433;databaseName=your-db")
  .option("dbtable", "Dates")
  .option("user", "username")
  .option("password", "password")
  .option("header", "false") // 核心配置：禁用表头输出
  .option("truncate", "true") // 可选：写入前清空表数据
  .mode(SaveMode.Overwrite)
  .save()

2. 校验日期类型映射与格式 #

Spark的DateType和SQL Server的DATE类型虽默认兼容，但如果写入时日期格式不匹配或类型映射错误，也会触发转换失败：

• 确认SQL Server表中DateColumn的类型为DATE，而非DATETIME或字符串类型
• 写入时显式指定日期格式，匹配SQL Server的预期格式：

spark.write
  .format("jdbc")
  .option("url", "jdbc:sqlserver://your-server:1433;databaseName=your-db")
  .option("dbtable", "Dates")
  .option("user", "username")
  .option("password", "password")
  .option("dateFormat", "yyyy-MM-dd") // 强制统一日期格式
  .mode(SaveMode.Overwrite)
  .save()

3. 统一数据编码配置 #

确保Spark写入时的编码与SQL Server数据库编码一致（如统一使用UTF-8），避免因字符编码差异导致转换错误：

spark.write
  .format("jdbc")
  .option("url", "jdbc:sqlserver://your-server:1433;databaseName=your-db;characterEncoding=utf-8")
  .option("dbtable", "Dates")
  .option("user", "username")
  .option("password", "password")
  .mode(SaveMode.Overwrite)
  .save()

4. 排查实际加载的数据内容 #

若以上方法无效，可手动导出Spark生成的临时数据文件，通过SQL Server导入导出向导测试导入，直接查看第一行数据是否存在表头或格式异常，定位具体的行/列问题。

内容的提问来源于stack exchange，提问作者iprof0214