Apache Spark日志查看方法及Debian 10下Master启动Jar包报错求助

一、修复Master启动命令报错 #

你遇到的主类找不到错误，是因为Shell解析$SPARK_HOME/jars/*时，把带特殊符号的Jar文件名错误拆成了主类路径的一部分。解决方法有两种：

推荐：用Spark官方启动脚本（最可靠） #

Spark自带的启动脚本会自动处理依赖路径，无需手动拼接Jar包：

$SPARK_HOME/sbin/start-master.sh --host localhost --port 7077 --webui-port 8080

若坚持用Java命令启动：给类路径加引号 #

把-cp参数的路径用双引号包裹，避免Shell错误解析：

java -cp "$SPARK_HOME/jars/*" -Xmx1g org.apache.spark.deploy.master.Master --host localhost --port 7077 --webui-port 8080

二、查看Spark Master日志 #

Spark日志默认存放在$SPARK_HOME/logs目录下，日志文件名格式为spark-<你的用户名>-master-<主机名>.out：

• 实时追踪日志：

tail -f $SPARK_HOME/logs/spark-$(whoami)-master-$(hostname).out

• 查看完整日志内容：

cat $SPARK_HOME/logs/spark-$(whoami)-master-$(hostname).out

如果找不到该目录，检查$SPARK_HOME/conf/spark-env.sh里的SPARK_LOG_DIR变量，日志会存在这个变量指定的路径。

三、Spark Jar库的默认路径 #

Spark的Jar包默认就存放在$SPARK_HOME/jars目录下，这是官方安装包的标准路径。如果该目录下Jar包不全，建议重新下载官方完整的Spark安装包（不要用精简版），解压后替换现有目录即可。

内容的提问来源于stack exchange，提问作者Nick