如何获取GitHub Actions完整工作流日志并推送至AWS CloudWatch

一、通过GitHub API拉取完整工作流日志 #

GitHub提供API可直接获取指定运行实例的完整日志，适合在工作流结束后批量推送至CloudWatch，且能覆盖成功/失败场景。

实现步骤 #

1. 准备授权Token：创建拥有repo权限的GitHub Personal Access Token（PAT），存储在仓库Secrets中（命名为GITHUB_PAT）。
2. 添加工作流步骤：在工作流末尾添加以下步骤（确保无论前序步骤成败都执行）：

- name: 拉取完整日志并推送至CloudWatch
  if: always()
  env:
    GITHUB_PAT: ${{ secrets.GITHUB_PAT }}
    LOG_GROUP: ${{ env.Myloggroupname }}
    LOG_STREAM: ${{ github.run_id }}
  run: |
    # 拉取并解压工作流日志
    LOG_CONTENT=$(curl -s -H "Authorization: token $GITHUB_PAT" "https://api.github.com/repos/${{ github.repository }}/actions/runs/${{ github.run_id }}/logs" | gunzip)
    
    # 将日志按行转换为CloudWatch事件格式
    LOG_EVENTS=""
    while IFS= read -r LINE; do
      TIMESTAMP=$(date +%s%3N)
      # 转义特殊字符避免JSON格式错误
      ESCAPED_LINE=$(echo "$LINE" | sed 's/"/\\"/g')
      LOG_EVENTS+="{\"timestamp\": $TIMESTAMP, \"message\": \"$ESCAPED_LINE\"},"
    done <<< "$LOG_CONTENT"
    
    # 移除末尾多余逗号
    LOG_EVENTS=$(echo "$LOG_EVENTS" | sed 's/,$//')
    
    # 获取CloudWatch日志流的序列令牌（首次推送无需，后续需携带）
    SEQUENCE_TOKEN=$(aws logs describe-log-streams --log-group-name $LOG_GROUP --log-stream-name $LOG_STREAM --query 'logStreams[0].uploadSequenceToken' --output text)
    
    # 推送日志至CloudWatch
    if [ "$SEQUENCE_TOKEN" = "None" ]; then
      aws logs put-log-events --log-group-name $LOG_GROUP --log-stream-name $LOG_STREAM --log-events "[$LOG_EVENTS]"
    else
      aws logs put-log-events --log-group-name $LOG_GROUP --log-stream-name $LOG_STREAM --log-events "[$LOG_EVENTS]" --sequence-token $SEQUENCE_TOKEN
    fi

关键说明 #

• if: always()：保证即使前序步骤失败，该步骤仍会执行，捕获失败场景的日志。
• API返回的日志为gzip压缩格式，需用gunzip解压后处理。
• 日志内容需转义双引号，避免JSON解析错误。

二、实时捕获单步骤日志推送 #

若需实时推送单个步骤的输出（而非等待整个工作流结束），可通过重定向输出+循环处理每行日志实现。

示例代码 #

- name: 执行Terraform并实时推送日志
  id: tf_apply
  env:
    LOG_GROUP: ${{ env.Myloggroupname }}
    LOG_STREAM: ${{ github.run_id }}
  run: |
    # 安装jq用于解析AWS返回的JSON（Ubuntu runner适用）
    sudo apt-get update && sudo apt-get install -y jq
    
    # 获取初始序列令牌
    SEQUENCE_TOKEN=$(aws logs describe-log-streams --log-group-name $LOG_GROUP --log-stream-name $LOG_STREAM --query 'logStreams[0].uploadSequenceToken' --output text)
    
    # 执行命令并实时捕获输出，每行推送至CloudWatch
    terraform apply -auto-approve 2>&1 | while IFS= read -r LINE; do
      TIMESTAMP=$(date +%s%3N)
      ESCAPED_LINE=$(echo "$LINE" | sed 's/"/\\"/g')
      EVENT="[ {\"timestamp\": $TIMESTAMP, \"message\": \"$ESCAPED_LINE\"} ]"
      
      # 推送日志并更新序列令牌
      if [ "$SEQUENCE_TOKEN" = "None" ]; then
        RESPONSE=$(aws logs put-log-events --log-group-name $LOG_GROUP --log-stream-name $LOG_STREAM --log-events "$EVENT")
      else
        RESPONSE=$(aws logs put-log-events --log-group-name $LOG_GROUP --log-stream-name $LOG_STREAM --log-events "$EVENT" --sequence-token $SEQUENCE_TOKEN)
      fi
      SEQUENCE_TOKEN=$(echo "$RESPONSE" | jq -r '.nextSequenceToken')
    done

关键说明 #

• 2>&1：将标准错误输出重定向至标准输出，确保捕获所有日志内容。
• jq：用于解析AWS返回的响应，提取下一次推送所需的序列令牌。

三、核心问题解答 #

1. 能否将完整日志传入--log-events参数？
   可以，但需将完整日志按行分割为符合CloudWatch格式的JSON数组（每个元素包含timestamp和message字段），注意CloudWatch的单请求限制：最多1000条事件，总大小不超过1MB，超出需分批次推送。

2. 完整GitHub日志从何处获取？
   可通过GitHub API获取，接口路径为https://api.github.com/repos/{仓库所有者}/{仓库名}/actions/runs/{运行ID}/logs，需携带拥有repo权限的PAT进行授权，返回的是gzip压缩的纯文本日志。

内容的提问来源于stack exchange，提问作者DumbCoder