如何将Spark Executor日志从指定路径输出到Kubernetes STDOUT？

方法1：修改Spark日志配置，直接输出到控制台 #

直接让Spark Executor日志输出到容器STDOUT，无需写入文件。修改log4j.properties配置：

• 注释原文件输出的appender配置：

  # log4j.appender.file=org.apache.log4j.FileAppender
  # log4j.appender.file.File=/worker_home_directory/app-xxxxxxxx/0/stdout
  # log4j.appender.file.layout=org.apache.log4j.PatternLayout
  # log4j.appender.file.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n
  

• 启用控制台appender并设置rootLogger使用它：

  log4j.appender.console=org.apache.log4j.ConsoleAppender
  log4j.appender.console.target=System.out
  log4j.appender.console.layout=org.apache.log4j.PatternLayout
  log4j.appender.console.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n
  
  log4j.rootLogger=INFO, console
  

配置完成后，Executor日志会直接输出到容器主进程的STDOUT，执行kubectl logs <spark_worker_pod>即可查看。

方法2：符号链接日志文件到容器STDOUT #

若需保留文件日志同时同步到STDOUT，可将日志文件链接到容器标准输出路径/proc/1/fd/1：

• 由于日志目录是动态生成的（app-xxxxxxxx为随机ID），需用脚本定位最新日志目录：

  # 获取最新的app日志目录
  LATEST_APP_DIR=$(ls -td /worker_home_directory/app-*/ | head -n 1)
  # 创建符号链接，将stdout日志指向容器STDOUT
  ln -sf /proc/1/fd/1 $LATEST_APP_DIR/0/stdout
  

• 将这段脚本添加到Spark Worker启动脚本末尾，确保在Executor启动前执行；若存在多个Executor实例，可定期执行脚本更新链接。

方法3：用tail命令持续转发日志 #

通过tail实时跟踪日志文件并转发到STDOUT，适用于无法修改日志配置的场景：

• 编写脚本处理动态日志文件：

  # 持续监控并转发最新的stdout日志
  while true; do
    LATEST_STDOUT=$(find /worker_home_directory -name "stdout" -type f | ls -td | head -n 1)
    if [ -n "$LATEST_STDOUT" ]; then
      tail -f "$LATEST_STDOUT" > /proc/1/fd/1
      break
    fi
    sleep 5
  done &
  

• 将脚本作为后台任务加入Spark Worker启动流程，确保日志持续同步到容器STDOUT。

内容的提问来源于stack exchange，提问作者Meet Shah