Hive MR模式下动态分区生成指定大小多文件问题求助

嘿Rajiv，针对你遇到的动态分区因数据倾斜导致单文件达2-3GB的问题，结合MR模式的特性，我给你整理了几个实用的解决方案，亲测有效：

一、调整Reducer数量，从根源控制单文件大小 #

MR模式下，每个Reducer会输出一个文件到对应分区，所以核心是让每个Reducer处理的数据量接近你的目标256MB。你可以通过以下配置精准调控：

SET hive.execution.engine=mr;
-- 设置每个Reducer处理的数据量（单位：字节，256MB对应268435456）
SET hive.exec.reducers.bytes.per.reducer=268435456;
-- 限制Reducer最大数量，避免集群资源过载
SET mapreduce.job.reduces=100;
-- 确保动态分区功能正常启用（你大概率已经配置，但再确认下）
SET hive.exec.dynamic.partition=true;
SET hive.exec.dynamic.partition.mode=nonstrict;

注意点： #

如果某个分区的key占了绝大多数数据（极端倾斜），上面的全局配置可能效果有限——因为这个大key会被分配到单个Reducer里，还是会生成超大文件。这时候就得配合倾斜专属优化配置了。

二、启用Hive数据倾斜自动优化 #

让Hive识别并拆分大key，分散到多个Reducer处理：

-- 启用Group By场景的倾斜优化，这是处理分区倾斜的核心配置
SET hive.groupby.skewindata=true;
-- 设置触发倾斜的阈值：某个key的行数超过10万就启动优化
SET hive.groupby.mapaggr.checkinterval=100000;

-- 如果你的任务涉及Join操作，同时开启Join倾斜优化
SET hive.optimize.skewjoin=true;
SET hive.skewjoin.key=100000;

hive.groupby.skewindata=true的原理很巧妙：它会把Group By任务拆成两步走：

1. 第一步Map端随机分发数据，先做局部聚合，打散大key；
2. 第二步再按真实分区key做全局聚合，这样大key会被分散到多个Reducer，自然生成多个小文件。

三、手动拆分极端倾斜的大key（终极方案） #

如果自动优化还搞不定，比如某个分区的key就是特别极端（占了90%数据），那就在SQL层面手动拆分：

假设你的分区字段是dt，dt='2024-05-20'这个分区数据爆炸，你可以给这个key加随机后缀，拆分后再还原：

-- 第一步：拆分大key，生成临时结果
CREATE TABLE tmp_result AS
SELECT 
  col1, col2, ...,
  -- 把大分区拆成4份，可根据实际数据量调整数量
  CASE WHEN dt='2024-05-20' THEN concat(dt, '_', cast(rand()*4 as int)) ELSE dt END AS tmp_dt
FROM source_table
GROUP BY col1, col2, ..., tmp_dt;

-- 第二步：还原分区，写入目标表
INSERT OVERWRITE TABLE your_table PARTITION(dt)
SELECT 
  col1, col2, ...,
  split(tmp_dt, '_')[0] AS dt
FROM tmp_result;

这样处理后，大分区的数据会被拆成多个小文件，每个大小接近256MB。

四、验证效果 #

执行任务后，用HDFS命令查看分区文件大小：

hdfs dfs -ls /path/to/your/table/dt=2024-05-20/

如果文件大小仍不符合预期，可以小幅调小hive.exec.reducers.bytes.per.reducer的值，增加Reducer数量。

内容的提问来源于stack exchange，提问作者Rajiv