基于Hadoop的词频排序疑问：重复键、排序方向及Map代码验证

1. 重复Key的问题 #

Hadoop MapReduce中，相同Key对应的多个Value不会产生冲突。Reducer阶段会接收该Key对应的所有Value组成的迭代器，你可以在Reducer中遍历所有Value并输出，像词频9对应good和happy这种情况，完全可以正确处理，不会丢失任何数据。

2. 现有Map代码的问题 #

你的Map代码存在两处明显问题，不可直接使用：

• 泛型与参数顺序错误：标准Mapper的泛型定义是Mapper<LongWritable, Text, K2, V2>，输入Key是每行的字节偏移量（LongWritable类型），输入Value是每行的文本内容（Text类型）。而你写的map(Text value, Text key, Context context)把参数顺序搞反了，正确的参数顺序应该是map(LongWritable key, Text value, Context context)。
• 未正确解析输入行：代码没有对输入的每行文本（比如coffee 6）进行拆分，直接将输入的key和value原样输出，无法实现“词频作为Key、单词作为Value”的目标。

修正后的Map阶段示例代码：

public static class SortMapper extends Mapper<LongWritable, Text, IntWritable, Text> {
    private IntWritable frequency = new IntWritable();
    private Text word = new Text();

    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        // 跳过表头行
        String line = value.toString().trim();
        if (line.startsWith("Word:")) {
            return;
        }
        // 分割每行的单词和词频（处理多个空格的情况）
        String[] parts = line.split("\\s+");
        if (parts.length == 2) {
            word.set(parts[0]);
            frequency.set(Integer.parseInt(parts[1]));
            // 输出：Key=词频，Value=单词
            context.write(frequency, word);
        }
    }
}

这里用IntWritable作为词频的Key类型，比Text更适合数值排序，避免字符串排序的问题（比如"10"会排在"2"前面）。

3. 降序排序的实现 #

Hadoop默认对Key进行升序排序，要实现降序排序，有两种常用方案：

方案一：自定义Key比较器 #

通过Job设置自定义的排序比较器，指定按Key降序排列：

Job job = Job.getInstance(conf, "WordFrequencySort");
// 设置Map和Reducer类
job.setMapperClass(SortMapper.class);
job.setReducerClass(SortReducer.class);
job.setOutputKeyClass(IntWritable.class);
job.setOutputValueClass(Text.class);
// 设置降序比较器
job.setSortComparatorClass(IntWritable.DecreasingComparator.class);
// 其他配置（输入输出路径等）

IntWritable已经内置了降序比较器DecreasingComparator，直接使用即可；如果是自定义Key类型，需要实现WritableComparable接口并重写compareTo方法，或者自定义RawComparator。

方案二：词频取负数（简易版） #

在Map阶段将词频取反，用默认升序排序，Reducer输出时再转回正数：

// Map阶段输出负数词频
frequency.set(-Integer.parseInt(parts[1]));
context.write(frequency, word);

// Reducer阶段转回正数
@Override
protected void reduce(IntWritable key, Iterable<Text> values, Context context) throws IOException, InterruptedException {
    int realFrequency = -key.get();
    for (Text word : values) {
        context.write(new IntWritable(realFrequency), word);
    }
}

这种方法适合快速实现，但不如自定义比较器规范。

4. Reducer阶段的处理 #

Reducer阶段不需要复杂逻辑，直接遍历每个Key对应的所有Value，按要求格式输出即可。示例代码：

public static class SortReducer extends Reducer<IntWritable, Text, IntWritable, Text> {
    @Override
    protected void reduce(IntWritable key, Iterable<Text> values, Context context) throws IOException, InterruptedException {
        // 遍历所有相同词频的单词，逐个输出
        for (Text word : values) {
            context.write(key, word);
        }
    }
}

如果需要调整输出格式（比如表头、对齐），可以在Reducer的setup方法中输出表头，或者对输出内容进行格式化。

内容的提问来源于stack exchange，提问作者N_ote