Spark SQL执行from_unixtime返回NULL，Hive正常输出问题求助

问题根源 #

两者的核心差异在于日期格式匹配的严格性：

• Spark SQL：unix_timestamp函数对格式的匹配是严格按指定的格式长度校验的。yyDDD格式要求输入字符串为「2位年份 + 3位年中天数」（总长度至少5位），而输入"5300"仅4位，无法满足DDD（三位）的格式要求，导致解析失败返回NULL，最终from_unixtime也输出NULL。
• Hive：unix_timestamp对格式的处理更宽松，不会强制要求DDD必须是三位。对于输入"5300"，Hive会自动拆分为yy=53（年份解析为1953）、DDD=00，并将00视为年中第0天（等价于上一年的最后一天，即1952年12月31日），因此能正常输出结果。

解决方案 #

如果需要在Spark中得到与Hive一致的结果，可通过以下两种方式调整：

1. 补全天数字符长度：将输入字符串补为5位，确保符合yyDDD的格式要求。
2. 调整格式为yyDD：如果实际需求是两位天数，直接修改格式匹配规则。

对应的Spark SQL示例：

-- 方案1：补全长度，适配yyDDD格式
select from_unixtime(unix_timestamp(lpad(cast(5300 as string),5,'0'),'yyDDD'));

-- 方案2：调整格式为yyDD
select from_unixtime(unix_timestamp(cast(5300 as string),'yyDD'));

内容的提问来源于stack exchange，提问作者Nathwani