Dataproc运行Spark Jar遇java.lang.NullPointerException，Spark Shell无此问题

• Spark上下文初始化配置差异
  直接提交Jar包时，SparkSession或SparkContext的初始化逻辑和spark_shell的默认配置存在区别。spark_shell启动时会自动加载集群的默认Hadoop、Metastore等配置，而Jar包提交若未显式指定相关参数，可能导致代码依赖的配置项缺失，触发空指针。检查代码中SparkSession.builder()是否遗漏关键配置，或是否依赖了集群默认加载但Jar包提交时未传入的环境变量。

• 依赖包缺失/版本不一致
  spark_shell默认会加载集群预装的全量依赖库，而你提交的Jar包可能未打包完整依赖，或依赖版本与集群环境冲突。比如某个核心依赖在spark_shell中存在，但Jar包的fat jar里未包含，导致运行时找不到实例对象触发NPE。可以用spark-submit --verbose查看加载的依赖列表，对比spark_shell中sc.listJars()的输出。

• 操作路径的权限/存在性问题
  Jar包提交的运行用户（默认是任务提交用户）和spark_shell的登录用户权限可能不同，导致保存路径访问失败（如HDFS路径无权限或不存在），代码未做判空处理直接操作返回的null对象，引发异常。检查目标路径的权限配置，以及代码中是否对路径存在性做了校验。

• 惰性求值与执行顺序差异
  Spark的RDD/DataFrame是惰性求值的，spark_shell的交互模式下执行show()等action操作时，计算触发顺序和Jar包批量执行时不同。可能Jar包中某个依赖对象在action触发前未完成初始化仍为null，而spark_shell的交互执行顺序恰好让对象提前完成赋值。

• 日志级别导致错误信息缺失
  Jar包提交时默认日志级别较高，NPE的完整堆栈信息被截断，无法定位具体空指针对象。可以在spark-submit命令中添加--conf spark.driver.extraJavaOptions="-Dlog4j.rootLogger=DEBUG,console"调整日志级别，获取完整错误堆栈。

内容的提问来源于stack exchange，提问作者Marc