Giraph自定义作业运行失败求助：基于SimpleShortestPathComputation修改后报错

这种情况我之前改Hadoop官方示例作业的时候也碰到过，明明复制了代码改了包名类名，各种参数也配了就是跑不起来，给你几个实用的排查方向和解决办法：

1. 先确认你的jar包结构没问题 #

很多时候问题出在打包环节：

• 用jar tf your-custom-job.jar命令查看jar内部结构，确保自定义类的包路径是正确的。比如你改的包名是com.my.hdfs.job，那jar里必须有com/my/hdfs/job/YourCustomShortestPath.class这个层级的文件
• 如果用Maven/Gradle打包，记得把Hadoop相关依赖设为provided scope，因为集群本身已经自带这些依赖了，打包进去反而会引发类冲突

2. 检查-libjars的使用姿势 #

不少人会踩参数顺序的坑：

• 正确的命令格式应该是把-libjars放在主类名前面，比如：

  hadoop jar your-custom-job.jar -libjars dependency1.jar,dependency2.jar com.my.hdfs.job.YourCustomShortestPath input output
  

• 另外要确保-libjars后面的依赖路径是集群能访问到的：伪分布式本地运行就用绝对路径；集群环境的话，要么把依赖传到HDFS路径，要么确保所有节点本地都有这个jar

3. 排查HADOOP_CLASSPATH配置的有效性 #

配置完环境变量后别着急跑作业：

• 先在同一个终端里用echo $HADOOP_CLASSPATH确认你的自定义jar路径已经被正确添加
• 如果是永久配置，要把export HADOOP_CLASSPATH=/path/to/your-custom-job.jar:$HADOOP_CLASSPATH写到~/.bashrc或者Hadoop安装目录下的etc/hadoop/hadoop-env.sh里，然后执行source ~/.bashrc或者重启Hadoop服务生效
• 注意：有些Hadoop版本会优先加载自身lib目录下的jar，临时测试的话可以把你的自定义jar放到$HADOOP_HOME/lib目录下（不推荐长期这么做，容易污染环境）

4. 用类加载日志定位问题 #

如果还是找不到问题，加上类加载日志参数，看看你的自定义类到底有没有被加载：

hadoop jar your-custom-job.jar -libjars ... -verbose:class com.my.hdfs.job.YourCustomShortestPath input output

运行后会输出所有类的加载来源，你可以搜索自定义类的名字，确认是从你自己的jar里加载的，还是出现了类找不到的情况

5. 伪分布式环境额外检查 #

如果是本地伪分布式运行：

• 确认HDFS上的input目录存在，且你的用户有读写权限，用hdfs dfs -ls /path/to/input验证
• 检查Hadoop配置文件（core-site.xml、hdfs-site.xml）是否正确，比如fs.defaultFS是否指向了正确的HDFS地址

内容的提问来源于stack exchange，提问作者user2992391