Hive ALTER TABLE PARTITION CONCATENATE命令无法合并ORC分区文件求助

问题原因 #

ORC格式的concatenate命令并非直接将所有文件合并为单个文件，而是合并ORC文件的stripe（条带），且受默认阈值配置限制：只有当文件大小或数量达到触发条件时，才会执行合并操作。你看到文件时间戳变化，说明命令已执行，但未达到合并为单个文件的触发条件。

解决方案 #

方案1：调整ORC合并配置后重新执行concatenate #

先设置以下Hive参数，调整合并阈值，再执行分区合并命令：

-- 开启ORC文件的stripe级别合并（默认已开启，可确认）
set hive.merge.orcfile.stripe.level=true;
-- 设置合并后单个文件的目标大小（示例为256MB，可根据需求调整）
set hive.merge.size.per.task=268435456;
-- 设置触发合并的平均文件大小阈值（示例为128MB，当分区内文件平均大小低于此值时触发）
set hive.merge.smallfiles.avgsize=134217728;
-- 执行分区合并
alter table default.clickstream_v3 partition (export_date = '2023-01-01', day = '2022-12-31') concatenate;

方案2：强制合并为单个文件（Insert Overwrite方式） #

如果必须合并为单个文件，可通过insert overwrite重写分区数据，配合设置输出文件数量参数：

-- 设置只生成一个输出文件
set mapreduce.job.reduces=1;
set hive.exec.dynamic.partition.mode=nonstrict;
-- 重写分区数据
insert overwrite table default.clickstream_v3 partition (export_date = '2023-01-01', day = '2022-12-31')
select * from default.clickstream_v3 where export_date = '2023-01-01' and day = '2022-12-31';

注意：此方法会重写分区数据，若数据量较大，需考虑集群资源占用情况。

额外说明 #

• ORC的concatenate是轻量级操作，无需解压缩再压缩，性能优于Insert Overwrite；
• 若分区内文件本身已接近目标大小，concatenate不会强制合并为单个文件，避免生成过大文件影响后续查询性能。

内容的提问来源于stack exchange，提问作者Pavel Orekhov