AWS Glue DataBrew中XLSX DateTime列转GregorianCalendar字符串如何在配方中转回日期

解决方案 #

出现该问题的原因是AWS Glue DataBrew解析XLSX内置日期格式时，底层Apache POI会将部分非标准格式的日期值输出为java.util.GregorianCalendar类的序列化字符串，内置日期转换函数无法直接识别该格式，因此会返回null。你可以通过DataBrew配方的自定义公式功能按以下步骤转换：

操作步骤 #

1. 直接在配方中添加「自定义公式」步骤，使用如下公式直接生成标准DateTime类型值，无需创建中间临时列：

TO_DATETIME(
    CONCAT(
        EXTRACT("Departure Date", 'YEAR=([0-9]{4})'),
        '-',
        LPAD(EXTRACT("Departure Date", 'MONTH=([0-9]{1,2})'), 2, '0'),
        '-',
        LPAD(EXTRACT("Departure Date", 'DAY_OF_MONTH=([0-9]{1,2})'), 2, '0'),
        ' ',
        LPAD(EXTRACT("Departure Date", 'HOUR_OF_DAY=([0-9]{1,2})'), 2, '0'),
        ':',
        LPAD(EXTRACT("Departure Date", 'MINUTE=([0-9]{1,2})'), 2, '0'),
        ':',
        LPAD(EXTRACT("Departure Date", 'SECOND=([0-9]{1,2})'), 2, '0')
    ),
    'yyyy-MM-dd HH:mm:ss'
)

2. 设置公式输出列为你需要的列名（可直接覆盖原Departure Date列），执行即可得到2021-11-11 22:30:00格式的DateTime值。

注意事项 #

• 如果你原XLSX的日期格式为日/月/年，需确认提取的MONTH和DAY_OF_MONTH字段顺序符合你的预期，再调整拼接顺序即可。
• 示例中GregorianCalendar的时区为UTC，如果你需要转换为其他时区，可在得到DateTime值后额外添加时区转换步骤。

内容的提问来源于stack exchange，提问作者jhd