Azure Synapse Delta Lake中SQL Server datetime转Spark SQL date失败问题

问题本质 #

你的SQL Server DATETIME字段导出成Parquet后，被转成了整数类型（大概率是SQL Server把日期转成了自1900-01-01以来的天数），直接用CAST(w2.myDate AS DATE)当然会报错，因为Spark不能直接把整数转成日期。

具体修复步骤 #

• 先确认字段值的含义：先查临时视图里的日期字段值，比如跑这条SQL：

  SELECT myDate FROM temp_view LIMIT 10;
  

  如果出来的是类似45231这种整数，那就是SQL Server的日期偏移天数。
• 用日期偏移函数转换：把原来的CAST替换成Spark的日期偏移计算，比如针对SQL Server的1900基准日：

  DATE_ADD(TO_DATE('1900-01-01'), w2.myDate)
  

  如果是毫秒级时间戳（比如自1970的毫秒数），就用：

  TO_DATE(FROM_UNIXTIME(w2.myDate / 1000))
  

• 修改MERGE语句：把所有日期字段的转换逻辑换成上面的写法，比如：

  MERGE INTO your_delta_table t
  USING temp_view w2
  ON t.id = w2.id
  WHEN MATCHED THEN UPDATE SET
    t.target_date_col = DATE_ADD(TO_DATE('1900-01-01'), w2.myDate)
  WHEN NOT MATCHED THEN INSERT (id, target_date_col)
  VALUES (w2.id, DATE_ADD(TO_DATE('1900-01-01'), w2.myDate))
  

• 可选：从源头避免问题：如果能改SQL Server导出Parquet的流程，直接把DATETIME转成YYYY-MM-DD字符串再导出，比如用SQL Server的CONVERT(VARCHAR, myDate, 23)，这样Spark读的时候能直接识别成DATE类型，不用后续转换。

内容的提问来源于stack exchange，提问作者MartinMB