Hive中date_format函数处理微秒日期返回错误结果求助

问题还原 #

执行查询语句：

select date_format('2021-04-14 16:07:47.123456', 'yyyy-MM-dd HH:mm:ss.SSSSSS')

预期保留原字符串的123456微秒，但实际返回结果为：

2021-04-14 16:07:47.000123

已尝试设置hive.parquet.write.int64.timestamp=true和hive.parquet.timestamp.time.unit参数，问题未解决。

问题原因 #

1. date_format函数默认会把输入字符串解析为Timestamp类型，Hive默认解析逻辑未明确识别6位微秒格式，将原字符串的.123456错误识别为纳秒数值，转成微秒时只保留了近似值。
2. 你之前设置的Parquet相关参数仅作用于文件存储层的Timestamp读写，不影响查询时内存中字符串转Timestamp的解析过程，因此无法解决当前问题。

解决步骤 #

• 明确指定解析格式：先通过to_timestamp按指定格式将字符串转为Timestamp，再用date_format格式化，确保微秒被正确识别：

  select date_format(
    to_timestamp('2021-04-14 16:07:47.123456', 'yyyy-MM-dd HH:mm:ss.SSSSSS'),
    'yyyy-MM-dd HH:mm:ss.SSSSSS'
  )
  

• 开启微秒解析支持：若使用Hive 2.2及以上版本，设置会话级参数开启微秒解析：

  set hive.timestamp.format.usec.enabled=true;
  

  开启后部分版本可直接使用date_format正确解析带6位微秒的字符串，仍有问题时建议配合to_timestamp指定格式。
• 版本升级适配：若使用Hive 2.3以下版本，建议升级到支持微秒精度的版本（Hive 2.3+对Timestamp微秒的支持更完善）。

内容的提问来源于stack exchange，提问作者zipzap