如何通过Log4j自定义Spark Executor日志到HDFS？日志未生成求助

我来帮你捋清楚这个问题的可行解决办法，你遇到的情况其实是YARN的日志管理机制和Spark自身Log4j配置的交互导致的——YARN默认会接管Executor的日志输出，把它们收集到自身配置的默认HDFS目录，而你直接配置Log4j输出到自定义HDFS目录时，会因为Executor容器的权限限制、HDFS客户端环境等问题，导致日志无法直接写入指定路径，反而被YARN捕获后放到了默认位置。下面是几种可行的实现方案：

这是最稳妥的方式，利用YARN原生的日志聚合机制来指定存储目录，不需要修改Spark的Log4j配置：

• 打开YARN的配置文件yarn-site.xml，修改以下两个参数：
  • 将yarn.nodemanager.remote-app-log-dir设为你想要的HDFS目录，比如hdfs://your-cluster/user/spark/executor-logs
  • 将yarn.nodemanager.remote-app-log-dir-suffix设为应用相关的后缀（比如app-specific-logs），最终日志路径会是hdfs://your-cluster/user/spark/executor-logs/<用户名>/app-specific-logs/<应用ID>
• 重启YARN的ResourceManager和NodeManager服务，让配置生效

这样配置后，YARN会自动把Executor的日志聚合到你指定的HDFS目录，而且Spark History Server也能正常读取这些日志，日志格式也会保持你之前在Log4j里配置的样式。

如果你一定要用自己的Log4j Appender直接输出到HDFS，需要解决容器权限和HDFS客户端的问题：

1. 配置Log4j的HDFS Appender：在你的Log4j配置文件里添加专门的HDFS输出Appender，示例片段如下：

# 自定义HDFS Appender
log4j.appender.CUSTOM_HDFS=org.apache.hadoop.log.HDFSAppender
log4j.appender.CUSTOM_HDFS.File=hdfs://your-cluster/user/spark/custom-executor-logs/${spark.executor.id}.log
log4j.appender.CUSTOM_HDFS.layout=org.apache.log4j.PatternLayout
log4j.appender.CUSTOM_HDFS.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n

# 将Executor的日志定向到这个Appender
log4j.logger.org.apache.spark.executor=INFO, CUSTOM_HDFS

2. 赋予YARN容器HDFS写入权限：确保YARN的运行用户（通常是yarn）拥有对你指定HDFS目录的读写权限，执行以下命令：

hdfs dfs -mkdir -p /user/spark/custom-executor-logs
hdfs dfs -chown yarn:yarn /user/spark/custom-executor-logs
hdfs dfs -chmod 775 /user/spark/custom-executor-logs

3. 提交应用时传递Log4j配置：在提交Spark应用时，通过--files参数传递你的自定义Log4j配置，同时指定Executor加载该配置：

spark-submit \
  --class com.your.package.YourSparkApp \
  --files /local/path/to/your/log4j.properties \
  --conf spark.executor.extraJavaOptions="-Dlog4j.configuration=log4j.properties" \
  your-spark-app.jar

⚠️ 注意：这种方式下YARN的日志聚合可能依然会把日志复制一份到默认目录，如果你不想保留两份日志，可以关闭YARN的日志聚合（不推荐，会影响History Server的日志查看功能）。

你可以先配置Spark Executor的本地日志滚动，再让YARN把这些滚动后的日志聚合到指定HDFS目录，兼顾可读性和存储位置控制：

• 在spark-defaults.conf里添加以下日志滚动配置：

spark.executor.logs.rolling.maxSize=100MB
spark.executor.logs.rolling.maxRetainedFiles=5
spark.executor.logs.rolling.strategy=size

然后配合方案1的YARN配置，让YARN把这些本地滚动的日志聚合到你指定的HDFS目录。

• 不要同时混用多种日志输出方式，避免日志重复或者出现冲突
• 务必确保HDFS目录的权限正确，YARN容器运行用户必须能读写该目录
• 如果使用自定义Log4j Appender，要保证Spark Executor的classpath里包含HDFS相关依赖（通常Spark已经自带，但自定义Appender可能需要额外打包）
• 测试时可以先运行一个简单的Spark应用（比如spark-shell），查看Executor的stderr/stdout输出，确认日志路径是否符合预期

内容的提问来源于stack exchange，提问作者Roshan Fernando