如何通过本地Python脚本实时读取AWS Lambda运行日志

可以实现，无需等待CloudWatch默认的10-15秒日志同步延迟，以下是两种可直接落地的方案，第一种适配你现有的实现思路：

方案1：异步调用+自定义低延迟推送（适配现有思路） #

你当前的思路只需补充少量逻辑即可落地，端到端延迟通常低于1秒：

• 你的异步调用代码可以直接复用，调用后取出返回值中的RequestId存为本地变量，用于后续匹配日志归属
• 无需等待CloudWatch日志同步，直接在Lambda代码中新增推送逻辑，将运行产生的日志、执行结果实时推送到AWS SQS队列，推送时附带当前请求的RequestId
• 本地shell直接调用AWS CLI拉取SQS队列消息，匹配到对应RequestId的消息即可直接输出，无需等待CloudWatch日志同步

相关代码示例：

异步调用侧补充RequestId获取逻辑 #

import json
import boto3

lam = boto3.client('lambda')
result = lam.invoke(
    InvocationType='Event',
    FunctionName='my-lambda-func',
    Payload=json.dumps(dict(test='test'))
)
# 取出本次请求的RequestId，存为本地变量用于后续日志匹配
request_id = result['ResponseMetadata']['RequestId']
print(request_id)

Lambda侧新增SQS日志推送逻辑 #

import boto3
import json

sqs = boto3.client('sqs')
# 替换为你提前创建的SQS队列URL
QUEUE_URL = "https://sqs.xxx.amazonaws.com/xxx/xxx"

def lambda_handler(event, context):
    # 你的原有业务逻辑
    test_log = "业务运行日志内容"
    # 实时推送日志到SQS，带上本次请求的RequestId
    sqs.send_message(
        QueueUrl=QUEUE_URL,
        MessageBody=json.dumps({
            "request_id": context.aws_request_id,
            "log_content": test_log
        })
    )
    # 剩余业务逻辑

本地shell拉取日志命令 #

# 替换为你拿到的RequestId和SQS队列URL
REQUEST_ID="xxx"
QUEUE_URL="xxx"
while true; do
  msg=$(aws sqs receive-message --queue-url $QUEUE_URL --max-number-of-messages 10 --wait-time-seconds 20)
  if echo "$msg" | grep -q "$REQUEST_ID"; then
    echo "$msg" | jq '.Messages[].Body | fromjson | .log_content'
    # 拿到所需日志后可直接退出循环
    break
  fi
done

方案2：CloudWatch Logs实时监听（无需修改Lambda代码） #

如果你不想改动现有Lambda代码，可直接用AWS CLI自带的日志监听功能，延迟约2-3秒，远低于默认的查询延迟：

• 首先确认Lambda对应的CloudWatch日志组名称，默认格式为/aws/lambda/你的Lambda函数名
• 本地shell直接执行以下命令即可实时拉取匹配指定RequestId的日志：

# 替换为你的日志组名称和请求RequestId
aws logs tail /aws/lambda/my-lambda-func --follow --filter-pattern "你的RequestId"

该命令会通过长连接持续监听日志组的新日志，匹配到过滤规则后会立刻输出，无需自行实现轮询逻辑。

通用注意事项 #

• 两种方案均不需要Lambda部署在VPC内，本地shell只要配置了有权限的AWS访问密钥，能访问AWS公开API端点即可正常使用
• 如果Lambda本身部署在VPC内，只需为Lambda配置SQS或CloudWatch的VPC端点，即可正常完成日志推送，不会额外增加延迟

内容的提问来源于stack exchange，提问作者Alex B