Apache Hadoop运行PageRank算法出现Java类未找到问题求助

看起来你在编译完PageRank源码后遇到了类加载的问题，这在Hadoop作业中很常见，通常是因为编译后的类没有被正确打包或者运行时类路径配置不对。我来帮你一步步排查解决：

1. 确认编译后的类结构是否正确 #

首先，检查你编译生成的build目录下是否有完整的包结构。因为你的源码是放在it.uniroma1.hadoop.pagerank这样的包下，所以build目录里应该有对应的层级：

ls build/it/uniroma1/hadoop/pagerank/
ls build/it/uniroma1/hadoop/pagerank/job1/

如果看不到PageRank.class、PageRankJob1Mapper.class这些文件，说明编译过程可能有问题——比如你的源码路径写错了，或者-d ./build参数没有正确生成目录结构。这种情况下，你需要重新检查编译命令，确保所有需要的源码文件都被包含进去（比如job2的相关类如果有的话也需要编译）。

2. 将编译后的类打包成JAR文件 #

Hadoop作业运行时，需要将所有依赖的类打包成JAR文件才能正确加载。你可以用以下命令把build目录下的所有类打包：

jar cvf pagerank.jar -C build/ .

这个命令会把build目录下的所有文件（包括完整的包结构）打包到pagerank.jar中。打包完成后，你可以用jar tf pagerank.jar查看JAR里的内容，确认包含了所有需要的.class文件。

3. 用正确的命令运行Hadoop作业 #

打包完成后，使用hadoop jar命令来运行你的PageRank作业，指定主类的完整包名：

hadoop jar pagerank.jar it.uniroma1.hadoop.pagerank.PageRank [你的输入路径] [你的输出路径]

这样Hadoop会自动从JAR文件中加载主类以及依赖的Mapper/Reducer类，避免类未找到的问题。

额外排查点 #

• 如果你之前尝试直接用hadoop classpath指定本地build目录，这种方式在集群环境下不可靠，因为从节点可能无法访问本地的build目录，所以打包成JAR是集群环境下的标准做法。
• 确认你的Hadoop集群版本（2.6.5）和源码依赖的Hadoop API版本兼容，这个仓库的代码应该是针对Hadoop 2.x的，所以版本匹配没问题，但如果有依赖冲突也可能导致类加载失败，不过这种情况比较少见。

内容的提问来源于stack exchange，提问作者Harrish A