如何将日期格式为yyyy-mm-dd hh:mm:ss UTC的数据导入Hive表

原因分析 #

你当前配置的timestamp.formats只匹配了yyyy-MM-dd HH:mm:ss格式，没有包含原数据末尾的UTC字符串，所以Hive无法正确解析时间戳，返回null。

正确配置方法 #

方法1：直接修改表的SerDe属性（适配带UTC后缀的格式） #

如果你的表使用的是CSVSerDe或者支持timestamp.formats参数的SerDe，执行以下ALTER语句即可：

ALTER TABLE TABLE_NAME SET SERDEPROPERTIES ("timestamp.formats" = "yyyy-MM-dd HH:mm:ss 'UTC'");

如果需要兼容其他时区的时间数据，也可以用时区占位符写法：

ALTER TABLE TABLE_NAME SET SERDEPROPERTIES ("timestamp.formats" = "yyyy-MM-dd HH:mm:ss zzz");

zzz是Java SimpleDateFormat中匹配时区缩写（如UTC、CST等）的专用占位符。

提示：如果是Hive 1.2以下的版本，不支持timestamp.formats参数，请优先使用下面的方法3。

方法2：建表时指定格式（适合还未建表的场景） #

如果你还未创建目标表，可以在建表语句里直接指定格式属性，示例语句如下：

CREATE TABLE your_table_name (
    event_time TIMESTAMP,
    event_type STRING,
    col3 INT,
    col4 BIGINT,
    col5 STRING,
    col6 STRING,
    col7 DOUBLE,
    col8 BIGINT,
    col9 STRING
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
WITH SERDEPROPERTIES (
    "field.delim" = ",",
    "timestamp.formats" = "yyyy-MM-dd HH:mm:ss 'UTC'"
)
STORED AS TEXTFILE;

方法3：导入时函数转换（适合不想修改表属性的场景） #

如果不想修改表的原有配置，可以先把时间字段以STRING类型导入，再通过to_timestamp函数转换为时间戳类型：

-- 建临时表存储原始字符串格式的时间字段
CREATE TEMPORARY TABLE temp_table (
    event_time_str STRING,
    -- 其余字段和目标表保持一致
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';

-- 加载CSV数据到临时表
LOAD DATA INPATH '/your/csv/file/path' INTO TABLE temp_table;

-- 转换后插入目标表
INSERT INTO TABLE your_target_table
SELECT 
    to_timestamp(event_time_str, "yyyy-MM-dd HH:mm:ss 'UTC'") as event_time,
    -- 其余字段直接读取
FROM temp_table;

验证方法 #

配置完成后执行以下查询验证时间字段是否正常解析：

SELECT event_time FROM TABLE_NAME LIMIT 10;

内容的提问来源于stack exchange，提问作者Raushan Kumar