Hive执行select*无结果但count(1)正常、Impala查询正常问题求解

• Hive的count(1)查询不需要读取Parquet文件的实际列数据，仅通过读取Parquet文件行组的元数据统计行数即可返回结果，因此即使列映射逻辑存在问题，count结果也会显示正常。
• Impala默认采用字段名匹配的逻辑读取Parquet文件，对字段顺序、大小写宽容度更高，因此可以正常读取数据；而Hive旧版本默认采用字段位置匹配的逻辑读取Parquet，若Parquet文件的字段顺序、大小写和Hive建表定义不一致，就会出现读取不到列值的情况。
• 单独指定分区查询可正常返回的原因是谓词下推后Hive的读取逻辑触发了不同的分片策略，避开了默认全表扫描时的匹配问题。

• 方案1：开启Hive Parquet按列名匹配配置
  在Hive会话中执行如下命令，再测试查询：

set hive.parquet.use.column.names = true;
select * from tbA limit 10;

如果测试正常，可将hive.parquet.use.column.names参数配置到hive-site.xml中实现全局永久生效。

• 方案2：校验Parquet文件与建表Schema一致性
  使用parquet-tools工具查看上传的Parquet文件的Schema定义：

parquet-tools schema hdfs://<你的HDFS分区路径>/<文件名>.parquet

对比输出的字段名、字段顺序、字段类型和Hive建表语句的定义是否一致，存在差异的话可以调整建表语句或者重新生成符合Schema的Parquet文件。

• 方案3：关闭Hive Limit优化测试
  如果开启了Hive的Limit快速优化，可能会出现随机读取分片异常的问题，可临时关闭后测试：

set hive.limit.optimize.enable = false;
select * from tbA limit 10;

• 方案4：刷新表元数据与统计信息
  执行如下命令刷新表的元数据和统计信息：

ANALYZE TABLE tbA PARTITION(`day`) COMPUTE STATISTICS;
MSCK REPAIR TABLE tbA;

内容的提问来源于stack exchange，提问作者user2894829