同一HIVE SQL在不同Cloudera版本执行差异及学习版本咨询

这是个很典型的大数据组件版本差异问题，我来帮你拆解下可能的原因，再给你版本选择的建议：

一、同一查询在CDH5.1.0报错、CDH5.10正常的可能原因 #

• Hive核心版本差异：CDH5.1.0内置的Hive版本非常老旧（大概是Hive 0.11.x），而CDH5.10对应的是Hive 1.2.x。新版本Hive新增了大量SQL特性：比如CTE（WITH子句）、更多窗口函数（ROW_NUMBER()的高级用法、LAG()/LEAD()的扩展）、复杂数据类型（Map/Array/Struct）的操作语法、ORC/Parquet文件格式的完善支持。如果你的查询用到了这些老版本不支持的特性，自然会抛出语法或功能错误。
• 默认配置逻辑差异：不同CDH版本的Hive默认配置有很大区别，比如：
  • 老版本可能强制开启了SQL严格模式（hive.strict.checks.cartesian.product等参数），而新版本默认放宽了部分限制；
  • 动态分区的默认规则不同，CDH5.1.0对动态分区的数量、分区列的非空性要求更严格；
  • 执行引擎的默认设置，CDH5.1.0默认只有MapReduce，而CDH5.10已经支持Tez引擎，某些查询在MR下会报错但Tez下能正常执行。
• 底层依赖组件的兼容性问题：CDH是集成式发行版，Hive依赖的Hadoop、ZooKeeper等组件版本也随CDH版本升级。比如CDH5.1.0用的是Hadoop 2.3.x，而CDH5.10用的是Hadoop 2.6.x，Hadoop的文件系统API、YARN调度逻辑的变化，可能导致Hive查询在底层执行时出现资源调度、文件读写的错误。
• 语法解析器的bug修复：老版本Hive的SQL解析器存在不少已知bug，比如对某些复杂嵌套查询、关键字冲突的处理逻辑不完善，新版本Hive修复了这些问题，所以同样的SQL在新版本能正常解析执行。

二、学习时的版本选择建议 #

建议优先选择CDH5.10或者更高的CDH5.x稳定版本，理由如下：

• 功能贴近实际生产：CDH5.x是很多企业仍在使用的稳定版本，5.10的Hive已经具备了绝大多数工作中常用的SQL特性，学完后能直接对接实际业务场景；
• 资源与文档更丰富：新版本的社区教程、问题解决方案更多，遇到疑问时更容易找到参考资料，官方文档的完整性也远高于老版本；
• 避免学习过时知识：CDH5.1.0的很多特性已经被淘汰（比如旧的UDF开发方式、MR引擎的低效用法），学习老版本的知识在实际工作中实用性很低，反而需要重新适应新版本的规则；
• 兼容性更好：CDH5.10能很好地和Spark、Impala等主流大数据工具集成，方便你拓展学习整个大数据生态的内容。

内容的提问来源于stack exchange，提问作者Learn Hadoop