Azure HDInsight环境下Hive执行Inner Join卡在最后Reducer任务问题求解

根因说明 #

当前卡顿属于典型的join字段数据倾斜问题：你卡的两个Reducer分别对应join阶段处理倾斜key的任务、以及最终全局count聚合的任务，已配置的倾斜优化参数未生效，核心原因是Table1中存在大量空值/重复值的order_id，全部被分配到同一个Reducer处理导致任务卡死。

可落地解决步骤 #

• 第一步：提前过滤无效空值，Table1中存在order_id为空的记录，完全不可能和Table2关联成功，join前过滤可以直接清除绝大多数倾斜数据，修改查询语句为：

SELECT COUNT(*) 
FROM (SELECT order_id FROM db.table_1 WHERE order_id IS NOT NULL AND trim(order_id) != '') t1
INNER JOIN (SELECT order_id FROM db.table_2 WHERE order_id IS NOT NULL AND trim(order_id) != '') t2 
ON t1.order_id = t2.order_id;

• 第二步：补充优化参数，调整倾斜判定阈值、开启聚合倾斜优化，同时增加Reducer数量分散数据：

-- 调低倾斜键判定阈值，可根据实际数据重复度进一步下调
SET hive.skewjoin.key=10000;
SET hive.optimize.skewjoin.compiletime=true;
-- 开启groupby倾斜优化，解决最终count聚合的卡顿问题
SET hive.groupby.skewindata=true;
-- 调整Reducer数量，分散数据压力
SET mapreduce.job.reduces=500;
SET tez.groupby.max.partitions=500;

• 第三步：开启MapJoin规避Reduce阶段倾斜，Table2仅3500万条属于小表，可直接加载到内存做Map端关联，完全跳过Reduce阶段的倾斜风险：

SET hive.auto.convert.join=true;
-- 调整小表阈值，覆盖3500万条Table2的文件大小
SET hive.mapjoin.smalltable.filesize=3000000000;
SET hive.auto.convert.join.noconditionaltask=true;
SET hive.auto.convert.join.noconditionaltask.size=3000000000;

• 第四步：如果仍有卡顿，说明存在单个非空order_id重复量极大的情况，可手动给大表的order_id加随机前缀打散后再关联，关联完成后再做统计即可。

• table_1：业务主表，总数据量3.1亿条，存储业务核心维度信息，共三个字段：master_id为业务主标识、modelkey为业务模型编码、order_id为关联订单号，存在空值记录。
• table_2：订单供应商映射表，总数据量3500万条，存储订单和供应商的对应关系，共两个字段：order_id为订单唯一标识、vendor_id为供应商唯一标识。
• table1_table2_join：两张表通过order_id做INNER JOIN后的结果表，仅保留两张表order_id完全匹配的记录，每条记录包含table1的三个字段和table2对应的vendor_id字段，统计该表的总行数就是你当前查询要获取的结果。

内容的提问来源于stack exchange，提问作者Eupheus