使用AWS CLI获取AWS Batch作业日志时仅返回元数据的问题

问题根源 #

你的命令存在两个核心问题：

1. 未将aws batch describe-jobs的输出赋值给JOB_DETAILS变量，导致后续提取日志流名称时使用了空值或错误内容
2. 用grep+awk处理JSON格式的输出不稳定，容易提取到错误的字段值，最终传给get-log-events的日志流名称无效，返回的是分页标记而非日志内容

修正后的完整命令 #

1. 正确获取日志流名称（推荐用AWS CLI原生参数，无需额外工具）

JOB_ID="my_job_id"
# 直接提取日志流名称，避免JSON解析错误
LOG_STREAM_NAME=$(aws batch describe-jobs --jobs "$JOB_ID" --query 'jobs[0].container.logStreamName' --output text)

如果你的环境安装了jq，也可以用更灵活的JSON解析方式：

JOB_ID="my_job_id"
JOB_DETAILS=$(aws batch describe-jobs --jobs "$JOB_ID")
LOG_STREAM_NAME=$(echo "$JOB_DETAILS" | jq -r '.jobs[0].container.logStreamName')

2. 下载完整日志（处理分页，获取所有日志内容）

aws logs get-log-events默认只返回部分日志，需要循环处理分页令牌来获取全部内容：

NEXT_TOKEN=""
PREV_TOKEN=""
# 循环获取所有日志，可将输出重定向到文件保存
while true; do
  if [ -z "$NEXT_TOKEN" ]; then
    RESPONSE=$(aws logs get-log-events --log-group-name "/aws/batch/job" --log-stream-name "$LOG_STREAM_NAME")
  else
    RESPONSE=$(aws logs get-log-events --log-group-name "/aws/batch/job" --log-stream-name "$LOG_STREAM_NAME" --next-token "$NEXT_TOKEN")
  fi
  # 提取并打印日志内容
  echo "$RESPONSE" | jq -r '.events[].message'
  NEXT_TOKEN=$(echo "$RESPONSE" | jq -r '.nextForwardToken')
  # 终止条件：无下一页令牌或令牌重复（避免无限循环）
  if [ "$NEXT_TOKEN" = "null" ] || [ "$PREV_TOKEN" = "$NEXT_TOKEN" ]; then
    break
  fi
  PREV_TOKEN="$NEXT_TOKEN"
done

如果要保存日志到文件，只需把echo "$RESPONSE" | jq -r '.events[].message'改为echo "$RESPONSE" | jq -r '.events[].message' >> batch_job_logs.txt即可。

验证步骤 #

1. 执行echo $LOG_STREAM_NAME确认日志流名称和控制台显示一致
2. 单独执行aws logs get-log-events --log-group-name "/aws/batch/job" --log-stream-name "$LOG_STREAM_NAME"，检查返回内容是否包含events字段及日志信息

内容的提问来源于stack exchange，提问作者Xavier Prudent