Hive中对所有选中列用distinct时的Reducer数量及多Reducer启动原因咨询

嘿，这个问题问得很到位！我来帮你理清楚Hive里DISTINCT和Reducer数量的关系，以及你的查询为什么会启动多个Reducer：

一、对所有选中列用DISTINCT时，Reducer数量怎么定？ #

很多人误以为DISTINCT一定会强制用1个Reducer，但其实Hive不会固定Reducer数量，它会根据以下几个核心配置和数据量来动态计算：

• hive.exec.reducers.bytes.per.reducer：每个Reducer默认处理256MB数据（可配置）
• hive.exec.reducers.max：允许的最大Reducer数，默认是1009

计算逻辑很简单：用过滤后的数据总大小除以单个Reducer处理的字节数，得到需要的Reducer数量，但不会超过max的限制。只有当数据量很小（远小于256MB）时，才可能只启动1个Reducer。

二、你的查询为什么启动了多个Reducer？ #

看你这条查询：

SELECT distinct seg.col1, seg.col2, seg.col3 FROM user.ag_user seg Where '2018-05-06' between start_date and end_date limit 5;

启动多个Reducer主要是这几个原因：

1. LIMIT子句的优化逻辑
   Hive对带LIMIT的DISTINCT查询做了特殊优化：它不会等所有数据全局去重完成后再取前5条，而是让多个Reducer先做局部去重，然后把各自的结果发给Driver端，Driver再做全局去重后返回前5条。这样能大幅缩短查询时间，不用等全量数据处理完。
2. 过滤后的数据量超出单Reducer阈值
   如果user.ag_user表过滤后的数据量超过了256MB（默认单Reducer处理量），Hive会自动拆分任务，用多个Reducer并行处理，提升整体效率。
3. 并行执行配置的影响
   如果你的Hive开启了hive.exec.parallel=true，Hive会允许多个作业并行执行，这也可能让多个Reducer同时启动。

小提示 #

如果你非要强制这个查询用1个Reducer，可以执行set mapreduce.job.reduces=1;再跑查询，但不建议这么做——数据量大的话，单个Reducer会成为性能瓶颈，反而变慢。

内容的提问来源于stack exchange，提问作者A srinivas