Scala Spark任务中Log4j配置疑问：日志去向与文件输出设置

你的LogHelper实现是没问题的，它已经正确绑定了类对应的Logger实例。接下来咱们一步步解决日志输出位置和文件配置的问题：

默认日志输出行为 #

当你用spark-submit提交任务时，Spark默认会使用自带的Log4j配置：

• 本地模式：日志直接输出到你运行spark-submit的终端控制台，同时也可能会写到Spark工作目录下的临时日志文件（比如spark-<用户名>-org.apache.spark.deploy.SparkSubmit-<进程ID>.out）。
• 集群模式（比如YARN）：Driver的日志会输出到YARN的ApplicationMaster日志目录，Executor的日志则存在各个节点的YARN日志目录里，你可以通过yarn logs -applicationId <你的APP ID>查看。

但默认配置不会把你自定义的业务日志单独输出到指定文件，所以需要自定义Log4j配置。

自定义Log4j配置输出到文件 #

1. 创建Log4j配置文件 #

新建一个log4j.properties文件，内容示例如下（根据你的需求调整）：

# 根日志级别：INFO，同时输出到控制台和文件
log4j.rootLogger=INFO, console, file

# -------------------------- 控制台输出配置 --------------------------
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.layout=org.apache.log4j.PatternLayout
# 日志格式：时间、级别、类名缩写、行号、日志内容
log4j.appender.console.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n

# -------------------------- 文件输出配置 --------------------------
log4j.appender.file=org.apache.log4j.RollingFileAppender
# 日志文件路径：
# - 本地模式：填本地磁盘路径，比如 /home/user/logs/my_spark_app.log
# - YARN集群模式：填HDFS路径（所有节点都能访问），比如 hdfs:///user/logs/my_spark_app.log
log4j.appender.file.File=/path/to/your/logs/my_spark_app.log
# 单个日志文件最大大小
log4j.appender.file.MaxFileSize=10MB
# 最多保留的备份日志文件数
log4j.appender.file.MaxBackupIndex=5
log4j.appender.file.layout=org.apache.log4j.PatternLayout
log4j.appender.file.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n

# 单独设置你的业务包日志级别（比如你的myPackage），让DEBUG级别的日志也能输出
log4j.logger.myPackage=DEBUG

2. 在spark-submit中指定配置文件 #

提交任务时，需要通过参数告诉Spark Driver和Executor使用你的自定义配置：

spark-submit \
  --class myPackage.MyClass \
  --master yarn \  # 换成你的部署模式，比如 local[*] 或 spark://master:7077
  # Driver端加载自定义Log4j配置
  --driver-java-options "-Dlog4j.configuration=file:/path/to/your/log4j.properties" \
  # Executor端加载自定义Log4j配置（集群模式必填）
  --conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/path/to/your/log4j.properties" \
  your-application.jar

关键注意事项：

• 如果是YARN集群模式，本地的log4j.properties需要上传到HDFS，然后把路径改成hdfs:///path/to/log4j.properties，这样所有Executor都能访问到。
• 如果是本地模式，--conf spark.executor.extraJavaOptions可以省略，因为Executor和Driver在同一个进程里。
• 不建议直接修改Spark安装目录下的conf/log4j.properties，这会影响所有Spark任务，自定义配置更灵活。

验证配置是否生效 #

提交任务后，你可以：

• 查看指定的日志文件路径，确认是否生成了日志文件，且包含你用logger.debug("my message")输出的内容。
• 如果是YARN模式，除了HDFS上的日志文件，也可以通过YARN UI查看Driver/Executor的日志，确认日志是否同时输出到控制台和文件。

内容的提问来源于stack exchange，提问作者user3685285