Hadoop MapReduce中LongWritable转VIntWritable类型转换问题求助

你碰到的这个java.lang.ClassCastException问题根源很清晰：转换作业生成的SequenceFile里，键的类型是LongWritable，但后续作业的The_Mapper期望输入键是VIntWritable，Hadoop无法自动完成这种跨类型的转换，所以得从转换环节或者后续作业的适配入手。下面给你几个实用的解决方案：

方案一：修改转换作业的Mapper，输出VIntWritable类型的键 #

原来的转换作业用的是默认的Identity Mapper，它会直接把LongWritable（TextInputFormat的默认键）作为输出键。你需要自定义一个Mapper，把输入的LongWritable转换成VIntWritable：

public class TextToSequenceMapper extends MapReduceBase implements Mapper<LongWritable, Text, VIntWritable, Text> {
    @Override
    public void map(LongWritable key, Text value, OutputCollector<VIntWritable, Text> output, Reporter reporter) throws IOException {
        // 将LongWritable的数值转换为VIntWritable
        VIntWritable convertedKey = new VIntWritable((int) key.get());
        output.collect(convertedKey, value);
    }
}

然后在转换作业的配置中，替换掉默认的Mapper：

conf.setMapperClass(TextToSequenceMapper.class);

这样转换后的SequenceFile键类型就和后续作业Mapper的输入要求完全匹配了。注意：要确保原LongWritable的数值不会超出int的取值范围（-2^31到231-1），如果有超大数值的情况，建议改用VLongWritable并同步调整后续Mapper的输入类型。

方案二：修改后续作业的Mapper，兼容LongWritable输入 #

如果不想改动转换作业，也可以调整The_Mapper，让它接受LongWritable作为输入键，在内部完成类型转换后再执行原有业务逻辑：

public class The_Mapper extends MapReduceBase implements Mapper<LongWritable, Text, VIntWritable, VIntWritable> {
    @Override
    public void map(LongWritable key, Text value, OutputCollector<VIntWritable, VIntWritable> output, Reporter reporter) throws IOException {
        // 先把LongWritable转换为VIntWritable
        VIntWritable inputKey = new VIntWritable((int) key.get());
        // 这里执行你原来的业务逻辑，用inputKey替代原有的key参数
        // ... 你的原有处理代码 ...
    }
}

后续作业的输入格式保持SequenceFileInputFormat.class不变即可，这样就能直接读取转换后的SequenceFile，避免类型转换异常。同样要注意数值范围的问题，防止int溢出。

额外注意事项 #

• Hadoop的SequenceFile对数据类型是强绑定的，读写的键值类型必须完全一致，这是你遇到这个异常的核心原因。
• 虽然Hadoop 2.7.5向后兼容1.2.0的旧API，但如果后续有升级计划，建议逐步迁移到新API（比如继承org.apache.hadoop.mapreduce.Mapper而非MapReduceBase），新API的扩展性和维护性更好。

内容的提问来源于stack exchange，提问作者Natassa Theodouli