Hadoop程序出现Type mismatch error（类型不匹配错误）求助附代码

嘿，我看到你在开发Hadoop的CommonFriends程序时碰到了类型不匹配的错误——这在MapReduce开发里可太常见了！先别慌，咱们来拆解下最可能的问题和解决办法。

常见的类型不匹配场景及修复方案 #

MapReduce的类型错误大多和泛型参数定义、实际输出类型不匹配有关，以下是几个高频坑点：

• Mapper/Reducer的泛型参数写错：Mapper和Reducer都需要指定4个泛型参数（输入键、输入值、输出键、输出值），如果这里的类型和你实际调用context.write()时传入的键值类型不一致，直接就会报类型错误。比如你在Mapper里输出的是<Text, Text>，但泛型写的是<LongWritable, Text, Text, IntWritable>，这肯定冲突。
• Context.write()参数和泛型不匹配：比如你定义的Mapper输出泛型是<Text, IntWritable>，但在map方法里却写了context.write(new IntWritable(1), new Text("test"))，类型完全反了，自然报错。
• Reducer输入和Mapper输出不兼容：Reducer的前两个泛型参数必须和Mapper的后两个泛型参数完全一致（除非你自定义了Partitioner/Combiner做类型转换，但一般场景下要严格匹配）。比如Mapper输出<Text, Text>，Reducer却定义成<Text, IntWritable, Text, Text>，这就会导致类型不兼容。

完整的CommonFriends核心代码示例（避坑版） #

我给你贴一个不会出现类型错误的核心代码片段，你可以对比自己的代码找差异：

import java.io.IOException;
import java.util.*;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class CommonFriends {

    // Mapper：输出<好友，用户>的键值对，泛型和实际输出严格匹配
    public static class FriendMapper extends Mapper<Object, Text, Text, Text> {
        @Override
        public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
            String[] parts = value.toString().split("\t");
            String user = parts[0];
            String[] friends = parts[1].split(",");
            for (String friend : friends) {
                // 输出的键值都是Text类型，和泛型定义一致
                context.write(new Text(friend), new Text(user));
            }
        }
    }

    // Reducer：前两个泛型和Mapper输出一致，后两个和自身输出一致
    public static class FriendReducer extends Reducer<Text, Text, Text, Text> {
        @Override
        public void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {
            List<String> users = new ArrayList<>();
            for (Text val : values) {
                users.add(val.toString());
            }
            // 生成用户对，输出共同好友
            for (int i = 0; i < users.size(); i++) {
                for (int j = i + 1; j < users.size(); j++) {
                    String userPair = users.get(i) + "," + users.get(j);
                    context.write(new Text(userPair), key);
                }
            }
        }
    }

    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf, "common friends");
        job.setJarByClass(CommonFriends.class);
        job.setMapperClass(FriendMapper.class);
        job.setReducerClass(FriendReducer.class);
        // 这里的输出类型要和Reducer的输出泛型完全一致
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(Text.class);
        FileInputFormat.addInputPath(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));
        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}

快速排查步骤 #

1. 先检查你的Mapper类的泛型参数，确认输入/输出的键值类型和context.write()的参数完全匹配。
2. 再检查Reducer类的泛型，前两个必须和Mapper的输出泛型一致，后两个要和Reducer自身的context.write()参数一致。
3. 最后看main方法里的job.setOutputKeyClass()和job.setOutputValueClass()，必须和Reducer的输出泛型类型保持一致。

内容的提问来源于stack exchange，提问作者Shadi Alian