Apache Spark SQL：将多格式字符串转换为YYYY-MM-DD日期格式

你原有的实现依赖多层字符串截取、拼接和正则替换，不仅代码繁琐、可读性差，还容易因格式细节变动出现错误。Spark SQL提供了原生的日期解析函数，可以更高效、简洁地完成需求。

优化后的实现方式 #

利用to_date函数直接解析带时间的字符串，它支持灵活的格式匹配规则（M匹配1-2位月份，d匹配1-2位日期，a匹配AM/PM标识），再通过date_format确保输出为指定的YYYY-MM-DD格式：

SELECT date_format(to_date('5/8/2021 12:00:00 AM', 'M/d/yyyy hh:mm:ss a'), 'yyyy-MM-dd') AS converted_date;

如果不需要额外格式控制，也可以直接将to_date返回的Date类型转为字符串，默认输出就是yyyy-MM-dd格式：

SELECT cast(to_date('5/8/2021 12:00:00 AM', 'M/d/yyyy hh:mm:ss a') AS string) AS converted_date;

适配所有测试输入 #

以上代码可以完美处理你列出的所有输入格式：

• 输入'5/8/2021 12:00:00 AM' → 输出'2021-05-08'
• 输入'05/8/2021 12:00:00 AM' → 输出'2021-05-08'
• 输入'5/08/2021 12:00:00 AM' → 输出'2021-05-08'
• 输入'05/08/2021 12:00:00 AM' → 输出'2021-05-08'

方案优势 #

1. 简洁易维护：用原生函数替代复杂的字符串操作，逻辑一目了然
2. 稳定性更强：内置日期函数经过Spark官方优化，能兼容更多边缘场景（比如AM/PM大小写、不同空格分隔等）
3. 性能更优：原生日期解析函数有专门的计算优化，处理大数据量时效率远高于纯字符串操作

内容的提问来源于stack exchange，提问作者user10912933