Hive查询执行失败：CREATE TABLE AS SELECT语句报错求助

我来帮你排查这个Hive任务执行失败的问题，先还原你的场景，再逐一分析可能的原因和解决方案：

问题重现 #

你执行的Hive查询语句：

create table daily_revenue as select order_date, sum(order_item_subtotal) daily_revenue from orders join order_items on order_id = order_item_order_id group by order_date;

返回的错误信息：

Query ID = cloudera_20180323115454_7aff9398-59bd-4492-82e6-fa065251134e
Total jobs = 2
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask

可能的原因及解决方案 #

1. 本地模式资源不足 #

MapredLocalTask是Hive在本地模式下运行的任务，如果你的机器内存、CPU资源不够，就容易触发这个错误。

• 解决方案：
  • 直接关闭本地模式，强制使用分布式MR任务：先执行set hive.exec.mode.local.auto=false;，再重新运行你的查询。
  • 或者调整本地模式的资源阈值：比如增大允许的输入文件大小（默认128MB），执行set hive.exec.mode.local.auto.inputbytes.max=268435456;；同时调整允许的最大本地任务数，执行set hive.exec.mode.local.auto.tasks.max=10;，根据机器配置灵活调整。

2. 关联字段类型不匹配 #

你用orders.order_id = order_items.order_item_order_id做关联，如果这两个字段的数据类型不一致（比如一个是int，一个是string），隐性类型转换会导致任务执行出错。

• 解决方案：
  • 先检查字段类型：执行desc orders;和desc order_items;查看两个关联字段的类型。
  • 如果类型不匹配，要么修改其中一个表的字段类型，要么在关联时显式转换，比如cast(orders.order_id as string) = order_items.order_item_order_id（根据实际类型调整转换规则）。

3. 源表存在脏数据 #

orders或order_items表中存在格式错误的数据（比如order_id为null、非数值型数据等），会在关联或聚合步骤导致任务崩溃。

• 解决方案：
  • 先检查数据质量：执行select count(*) from orders where order_id is null;和select count(*) from order_items where order_item_order_id is null;查看是否有null值；也可以抽样检查数据格式是否合规。
  • 在查询中过滤脏数据：比如修改语句为select order_date, sum(order_item_subtotal) daily_revenue from orders join order_items on order_id = order_item_order_id where orders.order_id is not null and order_items.order_item_order_id is not null group by order_date;

4. 环境配置或权限问题 #

比如Hive临时目录权限不足、Hadoop Yarn资源配置不合理等，也会导致本地任务执行失败。

• 解决方案：
  • 检查Hive临时目录权限：默认临时目录是/tmp/hive，执行hdfs dfs -ls /tmp/hive查看权限，若当前用户无读写权限，执行hdfs dfs -chmod 777 /tmp/hive调整。
  • 检查Yarn资源配置：比如yarn.nodemanager.resource.memory-mb是否足够支撑任务，必要时调整Yarn配置后重启服务。

内容的提问来源于stack exchange，提问作者saurabh shrivastava