在Bash脚本中捕获Yarn Job ID并查询作业状态的方法咨询
嘿，我完全懂你现在的困境——启动Yarn作业后，没法通过进程PID关联到对应的Job ID，导致没法跟踪作业状态和进度，确实挺棘手的。这里有几个实用的思路，帮你绕开这个问题：
1. 提交作业时直接捕获Job ID
这是最直接的方案，因为Yarn提交作业的命令本身会输出Job ID（或者Application ID，两者在MapReduce/Spark on Yarn场景下是一一对应的）。你只需要在提交时捕获这个输出就行：
# 提交MapReduce作业并提取Job ID（适配Yarn默认输出格式） YARN_JOB_ID=$(yarn jar your-job.jar com.your.package.MainClass 2>&1 | grep -oP 'Job ID: \K.*') # 如果是Spark on Yarn作业，提交时可以这样捕获： YARN_JOB_ID=$(spark-submit --master yarn --deploy-mode cluster your-spark-job.jar 2>&1 | grep -oP 'application_\d+_\d+')
解释一下：grep -oP用来精准匹配并提取Job ID部分，不同Yarn版本的输出格式可能略有差异，你可以先手动运行提交命令，看输出里的Job ID格式，再调整grep的正则表达式。拿到ID后，直接用yarn application -status $YARN_JOB_ID就能查询进度和状态了。
2. 通过作业标识（名称/用户）反向查询Job ID
如果没办法在提交时捕获ID，你可以通过作业的唯一标识来筛选。比如提交作业时指定一个自定义名称，之后用Yarn命令查找：
# 提交时指定作业名称（MapReduce示例） yarn jar your-job.jar com.your.package.MainClass -Dmapreduce.job.name="DailyDataProcessingJob" # 之后根据名称查找运行中的Job ID YARN_JOB_ID=$(yarn application -list -appStates RUNNING | grep "DailyDataProcessingJob" | awk '{print $1}') # 或者根据提交用户筛选（比如当前用户） YARN_JOB_ID=$(yarn application -list -appStates RUNNING | grep "$USER" | awk '{print $1}')
注意：yarn application -list的输出列顺序可能因Yarn版本不同而变化，你可以先手动执行该命令，确认Job ID所在的列（一般是第一列），再调整awk的列号（比如$1对应第一列）。
3. 记录作业日志并事后提取Job ID
如果你的脚本需要异步运行作业，你可以把提交作业的所有输出写入日志文件，之后从日志里提取Job ID：
# 提交作业并保存带时间戳的完整日志 yarn jar your-job.jar com.your.package.MainClass > yarn-job-$(date +%Y%m%d-%H%M%S).log 2>&1 # 后续从指定日志文件提取Job ID YARN_JOB_ID=$(grep -oP 'Job ID: \K.*' yarn-job-20240520-143000.log)
这种方式适合需要留存作业记录的场景，日志里还能保留作业启动时的其他信息，方便后续排查问题。
4. 利用YARN REST API进行精准查询
如果Shell命令的筛选能力不够，你可以用Yarn的REST API来查询作业信息。比如通过ResourceManager的API获取所有应用，再用工具解析JSON结果：
# 假设ResourceManager的地址是http://your-rm-host:8088 # 用jq解析JSON，筛选指定名称和运行状态的作业ID YARN_JOB_ID=$(curl -s http://your-rm-host:8088/ws/v1/cluster/apps | jq -r '.apps.app[] | select(.name=="DailyDataProcessingJob" and .state=="RUNNING") | .id')
这个方法需要先安装jq工具（用于JSON解析），适合复杂的筛选场景，比如要查找最近10分钟内启动的作业，或者根据作业类型筛选。
小提示
Yarn中的Application ID就是我们常说的Job ID（比如application_1234567890_0001），所以用yarn application系列命令就能直接查询作业状态、进度和日志。
内容的提问来源于stack exchange，提问作者Rajesh Reddy B
