Hive插入数据时如何指定列名并动态设置分区值

刚好处理过类似的需求，给你分享两种实用的实现方式，都能满足显式指定列名同时动态设置分区值的要求，先提醒下前提：Hive默认关闭动态分区，所以得先开启相关配置：

-- 开启动态分区功能
SET hive.exec.dynamic.partition=true;
-- 设置为非严格模式（允许所有分区都是动态生成的，strict模式要求至少有一个静态分区）
SET hive.exec.dynamic.partition.mode=nonstrict;

方法1：从源表查询插入（批量数据常用场景） #

这种方式适合从现有表批量取数据插入分区表，我们可以显式指定目标表的列名，把分区列day作为最后一个列，在SELECT语句中动态生成对应的值：

INSERT INTO TABLE dest_table (col1, col2, col3, day)
SELECT 
    col1, 
    col2, 
    CONCAT('processed_', col2) AS col3, -- 这里可以自定义col3的生成逻辑，比如固定值或其他字段计算
    DATE_FORMAT(col1, 'yyyy-MM-dd') AS day -- 从源表的col1字段动态提取日期作为分区值
FROM source_table;

说明： #

• 目标表的列名完全显式列出（col1, col2, col3, day），能避免因表结构变更导致的插入错误；
• day作为分区列，其值由DATE_FORMAT(col1, 'yyyy-MM-dd')动态生成，Hive会自动根据这个值创建对应的分区（比如day=2018-03-21、day=2018-03-22）。

方法2：直接插入指定值（少量数据场景） #

如果是手动插入少量数据，同样可以实现显式列名+动态分区，只需要在VALUES中对应位置生成分区值即可：

INSERT INTO TABLE dest_table (col1, col2, col3, day)
VALUES 
    ('2018-03-21 17:08:04.401', 'test1', 'processed_test1', DATE_FORMAT('2018-03-21 17:08:04.401', 'yyyy-MM-dd')),
    ('2018-03-22 12:02:04.222', 'test2', 'processed_test2', DATE_FORMAT('2018-03-22 12:02:04.222', 'yyyy-MM-dd')),
    ('2018-03-22 07:21:04.111', 'test3', 'processed_test3', DATE_FORMAT('2018-03-22 07:21:04.111', 'yyyy-MM-dd'));

注意事项： #

• 动态分区的列值必须和SELECT/VALUES中的对应位置严格匹配，数据类型也要保持一致；
• 如果分区表有多个分区列，只需要按顺序把所有分区列都加到目标列列表中，同时在查询语句中生成对应的值即可。

内容的提问来源于stack exchange，提问作者Andrea