Reducer能否接收多输入？同键异值类型的跨MapReduce任务问询

没问题，我来帮你理清这几个核心问题：

1. Reducer能不能接收来自不同Mapper的多输入？ #

当然可以！Hadoop专门提供了MultipleInputs工具类来支持这种场景——你可以让一个Reducer接收来自多个不同Mapper（甚至是不同MapReduce作业的输出）的输入，只需要在驱动代码里配置好对应的输入路径、Mapper类和键值类型就行。

2. 键相同但值类型不同时，Reducer如何处理？ #

直接让Reducer接收两种不同值类型的输入是行不通的，因为Reducer的方法签名是固定的（比如Reducer<Text, Writable, Text, SomeOutputType>），Iterable中的值必须是同一种类型。这里有两种常用的解决思路：

方法一：自定义通用Writable包装类 #

创建一个实现Writable接口的自定义类，把两种值类型都包装进去，同时加一个标记位区分类型。比如我们叫它CombinedValue，伪代码如下：

public class CombinedValue implements Writable {
    private int type; // 标记类型：1代表FloatWritable，2代表SongStats
    private FloatWritable floatVal = new FloatWritable();
    private SongStats songStatsVal = new SongStats();

    @Override
    public void write(DataOutput out) throws IOException {
        out.writeInt(type);
        if (type == 1) {
            floatVal.write(out);
        } else if (type == 2) {
            songStatsVal.write(out);
        }
    }

    @Override
    public void readFields(DataInput in) throws IOException {
        type = in.readInt();
        if (type == 1) {
            floatVal.readFields(in);
        } else if (type == 2) {
            songStatsVal.readFields(in);
        }
    }

    // 省略getter、setter和构造方法
}

然后修改两个Mapper的输出：

• 第一个Mapper把FloatWritable包装成CombinedValue（设置type=1，赋值floatVal）
• 第二个Mapper把SongStats包装成CombinedValue（设置type=2，赋值songStatsVal）

这样Reducer收到的就是<Text, Iterable<CombinedValue>>，遍历的时候根据type字段就能区分处理两种值，完美解决类型不一致的问题。

方法二：给键添加前缀区分类型 #

如果不需要对同一个原始键的两种值做聚合计算，可以给两个Mapper的输出键加不同前缀：

• 第一个Mapper输出键改为"float:" + originalKey，值还是FloatWritable
• 第二个Mapper输出键改为"songstats:" + originalKey，值还是SongStats

Reducer可以根据键的前缀判断值的类型，分别处理。但注意这种方法会把相同原始键的两种输入分到不同的Reducer组里，如果你需要对同一个键的两种值做联合计算，这种方法就不太适用了。

3. 针对第一个作业输出数据量过大的优化建议 #

针对你担心的第一个MapReduce作业输出数据量太大的问题，这里有几个实用的优化方向：

• 添加Combiner：在第一个作业中配置Combiner，对Mapper输出的相同键的FloatWritable值提前做聚合（比如求和、取平均），能大幅减少写入磁盘和传输的数据量。
• 启用输出压缩：在第一个作业的驱动类中配置输出压缩，比如用Snappy（速度快）或Gzip（压缩率高），Hadoop支持直接读取压缩后的文件作为后续作业的输入，能显著降低存储和传输开销。
• 合并作业流程：如果两个作业的原始数据源可以直接访问，不如用MultipleInputs把两个作业合并成一个，直接处理原始数据，避免生成中间大文件，节省IO和存储资源。

内容的提问来源于stack exchange，提问作者S.K