Hive执行CREATE TABLE AS SELECT报IS NOT TRUE无效函数错误

报错原因 #

这个问题是特定Hive版本（主要是Hive 1.x、部分未修复bug的Hive 2.1之前版本，以及部分第三方厂商封装的定制Hive版本）中CTAS（Create Table As Select）语句的语义解析bug导致的，具体触发逻辑如下：

• 只有CTAS场景下，Hive会额外执行查询结果列的非空约束自动推导逻辑，用来给新建的表设置合理的字段非空属性，这个逻辑在普通SELECT查询、INSERT INTO场景下默认不会触发，所以你测试的另外两个场景可以正常执行。
• 你子查询中通过CASE WHEN动态生成的别名字段testColumn，没有预先的元数据非空属性记录，解析器在推导该字段的非空约束时，错误将你写的q.testColumn is not null过滤条件，解析为了非法的IS NOT TRUE()函数调用，而Hive本身没有内置这个函数，因此抛出语义异常。
• 当你把别名改为x时，x是原始表table1中已存在的字段，Hive可以直接读取该字段已有的元数据非空属性，不会触发有问题的动态推导逻辑，因此也可以正常执行。

可落地的修复方案 #

• 方案1：升级到Hive 2.3及以上的稳定版本，该bug在后续版本已经被官方修复。
• 方案2：如果不方便升级，可以在CTAS语句中显式指定新建表的字段属性，避免触发自动推导逻辑，示例写法：

create table abc (x 字段类型, testColumn 字段类型) as 
select * from (
  select x,  (CASE WHEN ( y != '' and y is not null) THEN y ELSE z END ) AS testColumn 
  from table1
) q 
where q.testColumn is not null;

• 方案3：先执行select语句创建临时表，再通过临时表执行CTAS创建目标表，绕开推导逻辑。

内容的提问来源于stack exchange，提问作者Ritesh