如何解析AWS Lambda日志，追踪单个请求的完整日志？

一、优先使用CloudWatch Insights（云端直接处理） #

无需下载日志到本地，直接在AWS控制台的CloudWatch Insights中执行查询，就能快速按RequestID聚合并排序日志：

• 示例查询语句：

fields @timestamp, @message
| filter RequestId = "你的请求ID"
| sort @timestamp asc

• 优势：自动处理日志乱序问题，支持批量查询多个RequestID，还能结合时间范围等条件过滤，无需额外本地工具。

二、本地日志文件处理方案 #

如果已将日志导出到S3并下载到本地，可通过以下方式快速解析：

1. AWS CLI + jq命令行工具 #

适合熟悉命令行的用户，通过正则提取关键信息后分组排序：

# 处理单日志文件
cat lambda-logs.txt | grep -E "(START|END|REPORT|RequestId)" | jq -R 'split(" ") | {timestamp: .[0], requestId: (.[3] | split(":")[1]), message: .[2:]}' | jq -s 'group_by(.requestId) | map({requestId: .[0].requestId, logs: sort_by(.timestamp)})'

2. 轻量Python脚本 #

适合需要自定义处理逻辑的场景，通过正则匹配RequestID并分组排序：

import re
from collections import defaultdict

# 匹配日志中的时间戳和RequestID
LOG_PATTERN = re.compile(r'^(\d{4}-\d{2}-\d{2}T\d{2}:\d{2}:\d{2}\.\d{3}Z).*RequestId: (\S+)')

logs_by_request = defaultdict(list)
current_request = None

with open('lambda-logs.txt', 'r', encoding='utf-8') as log_file:
    for line in log_file:
        line = line.strip()
        match = LOG_PATTERN.match(line)
        if match:
            timestamp, request_id = match.groups()
            current_request = request_id
            logs_by_request[current_request].append((timestamp, line))
        elif current_request:
            # 非开头行的日志关联到当前RequestID
            logs_by_request[current_request].append(('', line))

# 每组日志按时间戳排序
for req_id in logs_by_request:
    logs_by_request[req_id].sort(key=lambda x: x[0])

# 输出整理后的日志
for req_id, logs in logs_by_request.items():
    print(f"\n=== Request ID: {req_id} ===")
    for _, log_line in logs:
        print(log_line)

三、开源工具复用 #

无需重复造轮子，已有成熟的开源解析工具（如Python的lambda-log-parser、Node.js的aws-logs-parser等），核心逻辑均为提取RequestID并分组排序，可直接安装后自定义输出格式。

内容的提问来源于stack exchange，提问作者whitebear