使用spark-submit运行任务时，如何开启更多实时日志排查运行瓶颈？

嘿，我来帮你搞定Spark任务的日志调试问题！当任务跑太慢又找不到原因时，把日志调得更详细绝对是定位瓶颈的关键，尤其是要排查库加载、网络请求甚至权限问题的话，这些方法应该能帮到你：

Spark默认用log4j（或log4j2）管控日志输出，你可以通过两种方式把关键组件的日志调到更细的级别：

方式一：自定义日志配置文件（推荐） #

准备一个log4j.properties文件，针对性地开启你需要追踪的组件日志：

# Spark核心组件日志，用来跟踪任务初始化、库加载流程
log4j.logger.org.apache.spark=DEBUG
log4j.logger.org.apache.spark.sql=DEBUG

# 第三方库日志（根据你实际使用的库调整，比如JDBC、HTTP客户端）
log4j.logger.com.mysql.cj.jdbc=DEBUG  # MySQL驱动
log4j.logger.okhttp3=DEBUG            # OkHttp网络请求
log4j.logger.org.apache.http=DEBUG    # Apache HttpClient

# 权限相关日志，排查无权限访问问题
log4j.logger.org.apache.hadoop.security=DEBUG
log4j.logger.org.apache.spark.security=DEBUG

然后在spark-submit命令里指定这个配置文件，让Driver和Executor都生效：

spark-submit \
  --files /path/to/your/log4j.properties \
  --driver-java-options "-Dlog4j.configuration=file:log4j.properties" \
  --conf spark.executor.extraJavaOptions="-Dlog4j.configuration=log4j.properties" \
  --packages your.dependency.group:artifact:version \
  --conf spark.yarn.appMasterEnv.LOG4J_PROPERTIES=log4j.properties \
  your-application.jar

方式二：代码中动态调整日志级别（快速临时调试） #

如果不想额外维护配置文件，也可以在Spark应用的main函数开头直接设置日志级别：

import org.apache.log4j.{Level, Logger}

// 开启Spark核心组件的DEBUG日志
Logger.getLogger("org.apache.spark").setLevel(Level.DEBUG)
// 开启你用到的第三方库日志
Logger.getLogger("com.your.thirdparty.library").setLevel(Level.DEBUG)
// 开启网络请求日志
Logger.getLogger("okhttp3").setLevel(Level.DEBUG)

注意：这种方式仅对Driver生效，如果要Executor也输出详细日志，还是得用配置文件的方式。

除了日志级别，Spark还有一些内置配置能帮你追踪更细节的执行过程：

• 开启事件日志：--conf spark.eventLog.enabled=true，之后可以通过Spark History Server查看完整的任务执行事件流，定位阶段阻塞点
• 跟踪Shuffle细节：--conf spark.shuffle.spill.debug=true，如果任务卡在Shuffle阶段，这个配置能输出溢出、数据传输的详细信息
• 网络通信调试：--conf spark.netty.log.level=DEBUG，用来跟踪节点间的网络传输细节

• Driver日志：本地运行时直接看控制台输出；集群模式（比如YARN）下，用yarn logs -applicationId <你的应用ID>实时拉取，或者在YARN UI的应用详情页查看
• Executor日志：YARN集群中，每个NodeManager的日志页面能找到对应Executor的详细日志——很多库加载失败、网络超时、权限拒绝的报错都藏在这里；K8s集群则用kubectl logs <pod-name>查看Driver/Executor Pod的日志
• 用spark-submit --verbose启动任务，能看到提交阶段的详细信息，比如依赖包下载、配置加载的过程

如果怀疑是向无权限的服务器发起请求，重点关注这些日志：

• 权限验证日志：org.apache.hadoop.security和org.apache.spark.security的DEBUG日志会输出Kerberos认证、文件/资源权限检查的完整过程
• 网络请求日志：把HTTP客户端（如okhttp3、Apache HttpClient）的日志设为DEBUG，能看到完整的请求URL、请求头、响应状态码，甚至超时或拒绝访问的具体报错
• JDBC连接日志：如果是数据库操作，开启JDBC驱动的DEBUG日志，能看到连接的服务器地址、权限验证结果、SQL执行的细节

内容的提问来源于stack exchange，提问作者Joe