Hadoop自定义WordCount程序运行时出现ClassNotFoundException求助

嘿，我看你在Ubuntu Server 14.04上跑自己改的Hadoop WordCount程序时碰到了ClassNotFoundException，试了不少办法都没解决，咱们来一步步揪出问题根源。

最常见的元凶：Jar包打包不规范 #

Hadoop找不到你的类，90%的概率是jar包没打好，或者运行时没正确指定。给你一套标准的编译打包流程，你照着走一遍：

1. 编译代码：编译时必须引入Hadoop的依赖类路径，别自己手动加jar，直接用Hadoop提供的命令：

   javac -classpath $(hadoop classpath) -d ./classes org/apache/hadoop/examples/myhadoop.java
   

   执行完后，./classes目录下应该有org/apache/hadoop/examples/myhadoop.class以及内部类的class文件。

2. 打包成Jar：打包时要把classes目录下的所有内容都包含进去，别只打包单个class：

   jar -cvf myhadoop.jar -C ./classes/ .
   

   你可以用jar tf myhadoop.jar检查一下，里面必须有org/apache/hadoop/examples/myhadoop.class这些文件。

3. 正确运行Jar：运行时一定要指定jar包和完整的主类名（带包路径）：

   hadoop jar myhadoop.jar org.apache.hadoop.examples.myhadoop /hdfs/input/path /hdfs/output/path
   

   注意输入输出路径要用HDFS路径，别用本地路径（除非你特意配置了本地运行模式）。

隐藏的坑：静态变量total_number的致命问题 #

你代码里用了静态变量total_number来统计总词数，这在Hadoop分布式环境里完全行不通！每个Mapper任务都是在独立的JVM里跑的，这个静态变量根本不会在所有Mapper之间共享，Reducer拿到的total_number值只是某个Mapper的局部值，不仅结果错，还可能因为类初始化或变量共享问题间接引发类加载异常。

修正思路：用两个Job串联统计 #

要计算词频，正确的姿势是分两步：

1. 第一个Job：统计每个词的出现次数，同时额外输出一条总词数的记录（比如用特殊key__TOTAL__来标记）。
2. 第二个Job：读取第一个Job的输出，先拿到总词数，再计算每个词的频率。

这样既符合Hadoop的分布式计算模型，也能避免静态变量带来的各种问题。

代码里的小疏漏：输出类型配置不完整 #

看你的代码，job.setOutputValueClass(FloatWritable.class)是最终输出的value类型，但Mapper和Combiner输出的是IntWritable，虽然Hadoop能自动推断类型，但显式设置Map阶段的输出类型可以避免类型匹配错误引发的类加载问题：

job.setMapOutputValueClass(IntWritable.class);

把这句加到你的Job配置里会更稳妥。

最后再排查两个小细节 #

• 检查HDFS权限：确保运行Hadoop的用户有读写输入输出路径的权限，有时候权限不足会伪装成类加载错误。
• 检查hadoop-env.sh：确保里面的HADOOP_CLASSPATH没有被错误修改，要是之前乱加了路径，可能会干扰类加载。

按照上面的步骤走一遍，应该能解决你的ClassNotFoundException问题，同时也能修复词频统计的逻辑错误。

内容的提问来源于stack exchange，提问作者Deja vu