如何约束Hive查询输出始终为单个文件（附表操作场景）

嘿，针对你目前使用的DB.efficacy外部表，想要确保查询输出是单个文件的需求，我整理了几个靠谱的方法，你可以根据数据量和场景选择：

1. 强制单Reducer（最直接的方式） #

Hive默认会根据数据量启动多个Reducer，这就是输出多文件的核心原因。你可以在查询前设置参数强制只用1个Reducer：

-- 先设置参数指定单Reducer
SET mapreduce.job.reduces = 1;
-- 如果涉及分区操作，可能需要打开非严格模式
SET hive.exec.dynamic.partition.mode = nonstrict;

-- 执行导出查询（替换成你的目标路径和筛选条件）
INSERT OVERWRITE DIRECTORY 'hdfs://hdfsadlproduction/user/DB/Report/efficacy_single_file'
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
SELECT product, TP_Silent, TP_Active, server_date 
FROM DB.efficacy 
WHERE server_date = '2024-05-20'; -- 替换成你的目标日期

小贴士：如果数据量特别大，单Reducer可能会拖慢任务甚至触发内存溢出，所以这个方法更适合数据量不大的场景。

2. 本地导出+合并（适合允许本地操作的情况） #

如果你的集群允许本地操作，可以先把数据导出到本地临时目录，合并成单个文件后再传回HDFS：

-- 第一步：导出到本地临时目录
INSERT OVERWRITE LOCAL DIRECTORY '/tmp/efficacy_temp'
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
SELECT * FROM DB.efficacy WHERE server_date = '2024-05-20';

然后在本地执行Linux命令完成合并和上传：

# 合并临时目录下的所有文件成单个CSV
cat /tmp/efficacy_temp/* > /tmp/efficacy_single.csv

# 将合并后的文件上传回HDFS目标路径
hdfs dfs -put /tmp/efficacy_single.csv hdfs://hdfsadlproduction/user/DB/Report/efficacy_single_file/

3. 使用DISTRIBUTE BY定向数据到单Reducer #

在查询语句末尾加上DISTRIBUTE BY并指定一个固定值，让所有数据都流向同一个Reducer，从而输出单个文件：

INSERT OVERWRITE DIRECTORY 'hdfs://hdfsadlproduction/user/DB/Report/efficacy_single_file'
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
SELECT * FROM DB.efficacy WHERE server_date = '2024-05-20'
DISTRIBUTE BY 1; -- 固定值1会让所有数据进入同一个Reducer

这个方法和设置单Reducer的效果类似，但更灵活——如果之后需要调整分发规则，你可以换成特定字段来定向数据。

4. 合并表内小文件（针对存量数据优化） #

如果你的表已经积累了很多小文件，想让表本身的文件更规整，可以用CONCATENATE命令（适合ORC/Parquet这类列式存储表）：

ALTER TABLE DB.efficacy PARTITION (server_date='2024-05-20') CONCATENATE;

这个操作会把分区内的小文件合并成少数几个大文件，虽然不是直接输出单个查询结果，但能解决表内文件过多的问题，方便后续查询和导出。

另外要注意：INSERT OVERWRITE会覆盖目标路径下的现有文件，如果需要保留历史数据，建议给输出文件按日期命名，比如efficacy_20240520.csv。

内容的提问来源于stack exchange，提问作者Ashish Mittal