Zeppelin执行Spark代码遇NullPointerException，求集群日志定位方法

你的问题场景 #

你在Zeppelin Notebook中编写了这段Scala代码：

import org.apache.spark.sql.SQLContext 
val sqlContext = new SQLContext(sc) 
val df = sqlContext.read.format("csv").option("header", "true").load("hdfs:///user/admin/foo/2018.csv") 
df.printSchema()

已经为Spark1和Spark2解释器添加了spark-csv依赖，但运行时抛出空指针异常：

java.lang.NullPointerException 
at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:38) 
at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:33) 
at org.apache.zeppelin.spark.SparkInterpreter.open(SparkInterpreter.java:614) 
at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:69) 
at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:493) 
at org.apache.zeppelin.scheduler.Job.run(Job.java:175) 
at org.apache.zeppelin.scheduler.FIFOScheduler$1.run(FIFOScheduler.java:139)

针对你的4节点集群环境，按以下顺序查找日志，能快速定位问题根源：

1. 查看Zeppelin服务器主日志 #

Zeppelin核心运行日志会记录解释器启动的整体状态，比如依赖加载是否成功、解释器进程是否正常启动：

• 日志位置：通常在Zeppelin安装目录的logs/文件夹下，文件名格式为zeppelin-<你的用户名>-server-<Zeppelin节点主机名>.log
• 重点关注空指针异常出现前后的日志，排查是否有依赖加载失败、Spark上下文初始化失败的提示。

2. 检查Spark解释器专属日志 #

Zeppelin为每个Spark解释器实例生成了独立日志，这里会记录Spark初始化的细节，比如SQLContext创建时的具体错误：

• 日志位置：${ZEPPELIN_HOME}/logs/interpreter/spark/，文件名类似spark-<解释器ID>-<主机名>.log
• 可以在这里确认你添加的spark-csv依赖是否真的被加载，有没有版本不兼容、缺失依赖的报错——这些往往是空指针异常的诱因。

3. 排查集群Worker节点的Spark日志 #

因为是4节点集群，Spark应用的执行日志会分散在各个Worker节点上：

• 先在Zeppelin界面的Interpreter页面找到对应Spark解释器的应用ID（通常显示在解释器状态区域）
• 然后到每个Worker节点的Spark日志目录（默认路径为${SPARK_HOME}/logs/），找到对应应用ID的日志文件，里面会有更底层的执行细节，比如HDFS文件访问、数据读取的问题。

4. 若使用YARN调度，查看YARN聚合日志 #

如果你的Spark基于YARN运行，用YARN命令可以快速聚合所有节点的日志，无需逐个节点排查：

yarn logs -applicationId <你的Spark应用ID>

这个命令会把该应用在所有节点上的日志输出到控制台，能高效定位跨节点的问题。

提示：空指针在SQLContext初始化阶段出现，大概率是依赖加载异常（比如spark-csv版本与Spark版本不匹配）或sc（SparkContext）未正确初始化导致的，这些细节都会在日志中体现，仔细排查就能找到原因。

内容的提问来源于stack exchange，提问作者Knows Not Much