Hadoop WordCount Reduce输出单文件结果为单行格式问题求助

刚接触Hadoop遇到这种输出格式问题太正常了，我当初也踩过类似的坑！你现在的核心问题是Reduce函数被多次调用（因为默认会按不同Key拆分数据），导致每次输出一部分结果，最终变成多行。要实现单个文件的统计结果合并为单行[filename v1,v2,v3...,v100]，可以按以下步骤调整：

1. 统一Map阶段的输出Key，让所有数据流向同一个Reduce #

默认情况下，Map输出的Key不同会触发多次Reduce调用。我们可以把所有Map输出的Key设为同一个固定值（比如"SINGLE_FILE_RESULT"），这样整个文件的所有统计数据都会被送到同一个Reduce任务里，避免拆分。

示例Map代码：

public class SingleFileStatsMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
    private final Text fixedKey = new Text("SINGLE_FILE_RESULT");
    private IntWritable statValue = new IntWritable();

    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        // 这里替换成你的统计逻辑：从每行文本提取v1~v100对应的统计值
        // 比如假设你统计的是ASCII码1-100的字符出现次数，遍历每行字符：
        String line = value.toString().trim();
        for (char c : line.toCharArray()) {
            int charCode = (int) c;
            if (charCode >= 1 && charCode <= 100) { // 对应v1到v100
                statValue.set(charCode);
                context.write(fixedKey, statValue);
            }
        }
    }
}

2. 在Reduce阶段一次性汇总所有数据并格式化输出 #

因为所有数据都到了同一个Reduce任务，我们可以先按v1~v100的顺序维护统计结果，然后拼接成你想要的格式，最后只输出一行。

针对固定顺序的v1~v100统计项的示例Reduce代码： #

public class SingleFileStatsReducer extends Reducer<Text, IntWritable, Text, Text> {

    @Override
    protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
        // 1. 获取当前处理的文件名
        FileSplit inputSplit = (FileSplit) context.getInputSplit();
        String fileName = inputSplit.getPath().getName();

        // 2. 初始化数组存储v1~v100的统计结果（索引0对应v1，索引99对应v100）
        int[] statsArray = new int[100];
        for (IntWritable val : values) {
            int index = val.get() - 1; // 把v1转为索引0，以此类推
            if (index >= 0 && index < 100) {
                statsArray[index]++;
            }
        }

        // 3. 把数组转为逗号分隔的字符串
        StringBuilder statsStrBuilder = new StringBuilder();
        for (int i = 0; i < statsArray.length; i++) {
            if (i > 0) statsStrBuilder.append(",");
            statsStrBuilder.append(statsArray[i]);
        }

        // 4. 拼接成要求的格式：[filename v1,v2,...v100]
        String finalOutput = "[" + fileName + " " + statsStrBuilder.toString() + "]";

        // 5. 输出结果（Key可以设为空，只保留Value的单行内容）
        context.write(new Text(""), new Text(finalOutput));
    }
}

3. 为什么之前用ArrayWritable会逐行输出？ #

你之前的写法应该是每个Key对应一次Reduce调用，每次调用输出一个ArrayWritable的内容，自然会分行。现在通过固定Key让Reduce只执行一次，所有统计数据都在这一次调用里处理，最终只输出一行，完美解决问题。

如果你的统计逻辑不是累加计数，而是直接收集所有离散的v值，只需要把上面的数组换成List，直接添加所有values即可，最后再拼接成逗号分隔的字符串就行。

内容的提问来源于stack exchange，提问作者Ebet