Spark3.5.1运行于Hadoop3时Tracking URL消失问题咨询

原因分析 #

• Spark 3.5.x 版本对YARN客户端的日志输出逻辑做了默认调整，关闭了[ACCEPT]、[RUNNING]状态通知和Tracking URL的主动打印
• Spark 3.5.1与Hadoop YARN 3.2存在兼容性适配细节问题，导致状态回调信息无法正常输出

解决办法 #

1. 强制开启YARN客户端日志 #

启动spark-shell或提交任务时，添加日志配置参数：

# spark-shell启动
spark-shell --conf spark.yarn.client.log.level=INFO --conf spark.log.level=INFO

# spark-submit提交
spark-submit --conf spark.yarn.client.log.level=INFO --conf spark.log.level=INFO 你的应用jar包路径

也可以修改spark-defaults.conf配置文件，实现永久生效：

spark.yarn.client.log.level=INFO
spark.log.level=INFO

2. 切换兼容的Spark版本 #

如果不需要3.5.x的新功能，直接回退到3.4.3及以下版本，该版本在YARN 3.2环境下已验证可正常显示状态日志和Tracking URL。

3. 匹配Spark与Hadoop编译版本 #

确保Spark 3.5.1是基于Hadoop 3.2版本编译的安装包，避免因编译依赖不匹配导致状态信息无法正常传递。

4. 手动查询Tracking URL #

如果上述方法无效，可通过YARN命令手动获取应用状态和Tracking URL：

# 查询指定应用状态
yarn application -status <你的应用ID>
# 列出所有运行中应用
yarn application -list

内容的提问来源于stack exchange，提问作者AppleCEO