Spark cluster模式spark-submit后如何将application id写入本地文件

Cluster模式下Driver运行在集群节点而非提交机本地，你之前调整本地log4j配置、依赖集群侧日志输出的方案失效，核心原因是Application ID在spark-submit客户端发起提交请求、集群ResourceManager返回响应时就已经生成，不需要等Driver启动，直接在提交端处理即可，无需修改集群侧配置。

方案1：提交端输出拦截提取（零侵入，生产首选） #

spark-submit客户端无论在什么部署模式下，提交成功后都会在本地控制台输出固定格式的行：Submitted application application_xxx_xxx，你不需要修改任何Spark配置或业务代码，直接在提交脚本里拦截输出、提取ID写入本地文件即可。

• 提交时将标准输出、标准错误同时输出到控制台和临时日志文件
• 匹配固定关键字提取Application ID，写入目标本地文件
  可直接复用的脚本片段：

#!/bin/bash
# 配置Application ID本地存储路径
APP_ID_SAVE_PATH="/your/local/dir/spark_application_id.txt"
# 提交Spark任务，全量日志落临时文件同时打印到控制台
spark-submit \
  --master yarn \
  --deploy-mode cluster \
  --class com.your.main.Class \
  # 补充其余提交参数：executor资源、依赖jar等
  your-job-package.jar 2>&1 | tee /tmp/spark_submit_tmp.log
# 提取ID写入目标文件
grep "Submitted application" /tmp/spark_submit_tmp.log | awk '{print $NF}' > $APP_ID_SAVE_PATH
# 校验结果
if [ -s $APP_ID_SAVE_PATH ]; then
  echo "Success, application ID saved to local file: $(cat $APP_ID_SAVE_PATH)"
else
  echo "Failed to extract application ID, check submit log at /tmp/spark_submit_tmp.log"
  exit 1
fi

说明：该方案适配Spark 2.x、3.x全版本，不依赖集群组件权限，不侵入业务代码，是生产环境最通用的实现方式。

方案2：自定义SparkListener回调落盘（适合任务全链路管控场景） #

如果你需要在任务运行生命周期内获取Application ID做状态关联、任务管控等操作，可以通过自定义Spark监听器实现：

• 自定义类实现SparkListener接口，重写onApplicationStart方法，从启动事件参数中可直接获取当前任务的Application ID
• 注意：Cluster模式下监听器运行在集群节点的Driver进程中，直接写文件会落到集群节点磁盘，需要通过共享存储、HTTP回调、SSH等方式把ID传回提交机写入本地文件
  核心代码示例（Scala）：

import org.apache.spark.scheduler.{SparkListener, SparkListenerApplicationStart}
import java.nio.charset.StandardCharsets
import java.nio.file.{Files, Paths}

class LocalAppIdCollector extends SparkListener {
  override def onApplicationStart(event: SparkListenerApplicationStart): Unit = {
    val appId = event.appId.getOrElse("unknown")
    // 落盘逻辑：如果本地和集群有挂载共享目录，直接写共享目录对应路径即可
    // 无共享存储时，可在提交机启动临时HTTP服务接收ID后写入本地文件
    Files.write(
      Paths.get("/shared-storage/path/target_app_id.txt"),
      appId.getBytes(StandardCharsets.UTF_8)
    )
  }
}

// 初始化SparkSession时注册自定义监听器
val spark = SparkSession.builder()
  .config("spark.extraListeners", classOf[LocalAppIdCollector].getName)
  // 其余配置
  .getOrCreate()

之前方案失效的核心原因 #

• 本地修改log4j.properties不生效：Cluster模式下Driver进程运行在集群节点，其日志加载的是集群节点上的Spark log4j配置，你本地修改的配置文件只会影响spark-submit客户端本身的日志，不会作用于Driver
• 控制台打印方案无法写文件：本质是没有对spark-submit客户端的本地输出做重定向拦截，Application ID本身就会输出在提交机本地控制台，不需要去集群节点拉取日志提取。

内容的提问来源于stack exchange，提问作者rohan kumar