Spark跨表插入时日期值异常变为0800-xx-xx问题求助

核心排查方向 #

• 字段类型匹配检查
  确认源表和目标表的日期字段类型完全一致：

  • 执行 DESCRIBE source_table; 和 DESCRIBE target_table; 对比日期字段的类型（是DATE、TIMESTAMP还是INT96）
  • 如果目标表日期字段是INT96类型，而源表是DATE/TIMESTAMP，即使设置了LEGACY模式，也可能出现日期偏移问题，建议将目标表字段类型改为与源表一致

• 存储格式适配验证
  你配置的datetimeRebaseMode和int96RebaseMode仅针对Parquet格式的读写生效：

  • 如果源表或目标表的存储格式是CSV、ORC、JDBC等非Parquet类型，这些参数不会起作用
  • 针对非Parquet格式，需对应调整日期处理参数（比如CSV的dateFormat参数）

• 显式类型转换测试
  避免使用SELECT *隐式映射，显式指定日期字段的类型转换：

  INSERT INTO target_table
  SELECT 
    col1, 
    col2, 
    CAST(date_column AS DATE) AS date_column  -- 或TIMESTAMP，根据实际类型调整
  FROM source_table;
  

• Spark版本兼容性检查
  不同Spark版本的LEGACY日期重基逻辑存在差异：

  • 如果是Spark 3.x版本，确认是否因为跨版本读写（比如读取Spark 2.x写入的Parquet）导致的偏移，可尝试将模式改为CORRECTED测试，但注意数据兼容性
  • 核对对应版本的Spark官方文档，确认参数生效范围

额外验证步骤 #

• 先执行 SELECT date_column FROM source_table LIMIT 10; 查看源数据的实际日期值，确认没有隐性异常
• 临时将数据写入Parquet格式的临时表，再读取验证日期是否正常，排除目标表本身的配置问题

内容的提问来源于stack exchange，提问作者Alastair