插入数据时列不匹配错误：SELECT DISTINCT导致列数不符

问题原因 #

你的INSERT语句中，目标表jud_pers_record_leg_proced_update_202208包含21列（20个普通列+1个分区列edenloaddate），但SELECT子句仅返回2列，列数、结构完全不匹配，触发了SemanticException错误。

解决方案 #

方案1：插入所有列并去重（适用于源表与目标表结构完全一致） #

如果源表和目标表是副本、结构完全相同，直接用SELECT DISTINCT *获取所有列，确保列顺序和类型匹配：

INSERT INTO eden_es_master_db.jud_pers_record_leg_proced_update_202208 partition(edenloaddate) 
SELECT DISTINCT *
FROM eden_es_master_db.jud_pers_record_leg_proced 
WHERE personidentifiercao IN (SELECT cao FROM eden_es_dynamic.fisbajas WHERE cao IS NOT NULL);

方案2：指定需要插入的列（适用于仅需插入部分列） #

如果只需要插入特定列，必须在INSERT语句中明确列出目标列，保证SELECT返回的列数量、顺序、类型与指定列完全对应：

1. 先通过以下命令查看目标表的列结构：

DESCRIBE eden_es_master_db.jud_pers_record_leg_proced_update_202208;

2. 编写插入语句（替换为实际列名）：

INSERT INTO eden_es_master_db.jud_pers_record_leg_proced_update_202208 (col1, col2, col3, ..., edenloaddate) partition(edenloaddate) 
SELECT DISTINCT col1, col2, col3, ..., edenloaddate
FROM eden_es_master_db.jud_pers_record_leg_proced 
WHERE personidentifiercao IN (SELECT cao FROM eden_es_dynamic.fisbajas WHERE cao IS NOT NULL);

注意：未指定的列会被设为默认值（如NULL），若目标表有非空约束的列未被包含，会触发新的错误。

关键注意事项 #

• Hive不会自动匹配列名，仅按顺序对应列，必须保证SELECT返回的列与目标列的数量、顺序、数据类型完全一致。
• 使用SELECT DISTINCT *时，务必确认源表和目标表的结构完全一致，包括列顺序、数据类型，避免隐式转换或列错位问题。

内容的提问来源于stack exchange，提问作者Charlie