Hive执行建表SQL触发genColumnStatsTask找不到表错误如何处理

错误产生原因 #

• Hive默认开启的自动统计信息收集功能冲突：当hive.stats.autogather参数为true时，CTAS（Create Table As Select）语句在编译阶段就会触发列统计信息生成任务，此时目标表temp还未完成创建，统计任务无法找到对应表元数据就会抛出该语义异常。
• SQL语法存在隐性错误：原查询中直接使用别名t调用字段，但未给源表temp1声明t作为别名，语法解析阶段生成的目标表元数据不完整，进一步导致统计任务无法关联到目标表。
• 表名命名冲突：若当前会话默认数据库为database1，库中已存在同名的temp表或视图时，CTAS语句尝试覆盖旧表的过程中，统计任务无法识别未创建完成的新表结构。

解决方法 #

• 第一步先修正SQL语法错误，给源表temp1声明别名：

create table temp as 
select t.type
from temp1 t LATERAL VIEW posexplode(c1.array_of_struct_field1) dummy as alias1, t
union all
select t.type
from temp1 t LATERAL VIEW posexplode(c1.array_of_struct_field2) dummy as alias1, t;

• 临时关闭当前会话的自动统计收集功能，执行建表前先运行配置命令：
  set hive.stats.autogather=false;
  建表完成后如果需要统计信息，可以手动执行命令收集：
  ANALYZE TABLE temp COMPUTE STATISTICS FOR COLUMNS;
• 避免表名冲突：执行建表前先删除已存在的同名表，或者更换为其他表名：

drop table if exists temp;
-- 后续接修正后的CTAS语句

• 若仅需要临时使用该表，可以直接创建临时表避免和持久表冲突：
  create temporary table temp as 【修正后的查询逻辑】

内容的提问来源于stack exchange，提问作者Pash0002