Hive中如何解决SELECT *插入时分区列与新增列错位问题

问题核心：Hive的分区列dt在SELECT *结果中会被强制排在最后，而table2是在table1的非分区列后新增report-type列，同时保留dt作为分区列，导致直接执行INSERT INTO table2 SELECT *, 'some_report_type' FROM table1时，dt的值会被错误插入到report-type列，report-type的值则被当作分区值，引发列错位。

以下是无需手动指定830列的解决方案：

方法1：自动生成非分区列列表 #

通过Hive元数据查询获取table1的所有非分区列，自动拼接成正确的SELECT语句：

手动拼接方式 #

1. 执行SQL获取非分区列（替换your_database为实际库名）：

SELECT column_name
FROM information_schema.columns
WHERE table_schema = 'your_database'
  AND table_name = 'table1'
  AND column_name != 'dt';

2. 将查询结果的列名用逗号拼接，生成插入语句：

INSERT INTO table2
SELECT [拼接后的非分区列列表], 'some_report_type', dt
FROM table1
WHERE <some criteria>;

Shell脚本自动化方式 #

适合批量操作，无需手动复制列名：

# 获取非分区列并拼接为逗号分隔字符串
cols=$(hive -e "SELECT column_name FROM information_schema.columns WHERE table_schema='your_database' AND table_name='table1' AND column_name!='dt'" | grep -v "column_name" | paste -sd ", " -)

# 执行插入操作
hive -e "INSERT INTO table2 SELECT $cols, 'some_report_type', dt FROM table1 WHERE <some criteria>;"

方法2：利用分区指定语法 #

静态分区（目标分区固定） #

如果插入的目标分区dt值固定，直接通过PARTITION子句指定分区值，此时SELECT *仅会读取table1的非分区列，避免列错位：

INSERT INTO table2 PARTITION(dt='2022-08-04')
SELECT *, 'some_report_type'
FROM table1
WHERE <some criteria> AND dt='2022-08-04';

动态分区（目标分区随数据变化） #

先开启动态分区支持，再通过PARTITION(dt)指定分区列，确保SELECT的最后一个字段为dt：

-- 开启动态分区配置
SET hive.exec.dynamic.partition=true;
SET hive.exec.dynamic.partition.mode=nonstrict;

-- 执行插入（需用方法1的方式自动拼接非分区列）
INSERT INTO table2 PARTITION(dt)
SELECT [拼接后的非分区列列表], 'some_report_type', dt
FROM table1
WHERE <some criteria>;

内容的提问来源于stack exchange，提问作者Alex Kerr