如何为EMR上YARN提交的PySpark应用自定义application id

首先明确：原生 YARN 以及 AWS EMR 发行版的 YARN 均不支持修改默认的 Application ID 格式，既不支持添加自定义前缀，也不支持完全自定义 ID。

原因说明 #

YARN 的 Application ID 由 ResourceManager 按照固定规则自动生成，规则硬编码在 YARN 源码中，没有对外提供可配置的修改入口：

• 默认格式为 application_<RM启动时间戳>_<应用递增序号>
  • 前半段时间戳是 ResourceManager 启动时生成的集群唯一标识，集群重启后该值会自动更新
  • 后半段是 RM 运行周期内的应用提交递增序号，对应当前是该周期内提交的第 N 个应用
    如果强行修改源码篡改 ID 生成逻辑，会导致 YARN 内部的资源调度、应用跟踪、日志聚合、历史服务等核心功能全部报错，完全不具备可落地性。

替代实现方案 #

如果你需要通过自定义标识快速识别、筛选自己提交的 PySpark 应用，可以使用 YARN 原生支持的以下功能实现同等效果，无需修改 Application ID：

• 修改 Spark 应用名称
  提交 PySpark 任务时通过 --name 参数传入自定义标识，示例：

  spark-submit --name "自定义业务前缀_xxx任务" your_script.py
  

  后续可以在 YARN UI、yarn application -list 命令返回结果中直接通过名称检索对应应用。
• 添加 YARN 应用标签
  提交任务时添加 Spark 配置参数给应用打多维度自定义标签，示例：

  spark-submit \
    --conf spark.yarn.tags=自定义前缀,业务线A,任务ID_12345 \
    your_script.py
  

  后续可以通过 YARN API 或命令行按标签过滤应用，适配更复杂的分类检索需求。
• 绑定自定义标识与应用 ID
  可以在 PySpark 脚本启动时通过 SparkContext 获取当前应用对应的 YARN ID，和你自己的自定义标识共同写入日志或元数据表，后续可以通过自定义标识反查对应的 YARN 应用 ID。

内容的提问来源于stack exchange，提问作者Rahul Patwa