CloudWatch get-log-events仅返回少量日志问题求助

问题场景 #

通过Python Lambda向CloudWatch上报日志后，AWS控制台可查看数百条日志条目，但使用AWS CLI执行aws logs get-log-events --log-group-name hall-ac --log-stream-name sensors或Python Boto3调用时，仅能获取到最新2条日志。尝试设置时间范围、指定从头部/尾部读取、调整返回条数限制均无效果，且每次调用get-log-events仅返回2条日志，需多次调用遍历next-token才能获取全部内容。

排查调试步骤 #

• 开启CLI调试模式：添加--debug参数执行命令，查看服务端返回的完整元数据，包括返回的日志条目数、nextForwardToken生成逻辑、响应体大小等，确认是否因返回数据体积限制导致条数减少：

  aws logs get-log-events --log-group-name hall-ac --log-stream-name sensors --debug
  

• 验证返回数据体积限制：get-log-events的返回结果受1MB最大响应体积限制，而非单纯的10000条条数限制。如果单条日志条目体积较大（比如包含大量JSON数据、Base64内容），则返回的条目数会远低于10000条。可通过控制台查看单条日志的大小，或在调试输出中查看Content-Length字段判断。
• 检查日志流片段结构：CloudWatch日志流由多个日志片段组成，每个片段对应一次日志上报请求（比如Lambda的每次日志推送）。控制台会自动合并所有片段展示，但get-log-events默认仅读取最新片段的内容，需通过next-token遍历所有片段才能获取完整日志。

优化获取完整日志的方法 #

• 自动遍历next-token的Bash脚本：结合jq编写循环脚本，自动分页获取所有日志：

  TOKEN=""
  while true; do
    if [ -z "$TOKEN" ]; then
      RESPONSE=$(aws logs get-log-events --log-group-name hall-ac --log-stream-name sensors --start-from-head --limit 10000)
    else
      RESPONSE=$(aws logs get-log-events --log-group-name hall-ac --log-stream-name sensors --start-from-head --limit 10000 --next-token "$TOKEN")
    fi
    # 打印日志消息，可按需调整输出格式
    echo "$RESPONSE" | jq '.events[] | .message'
    TOKEN=$(echo "$RESPONSE" | jq -r '.nextForwardToken')
    # 无更多日志时退出循环
    if [ "$TOKEN" = "null" ]; then
      break
    fi
  done
  

• 改用filter-log-events命令：该命令的分页逻辑更高效，默认会返回更多日志条目，且支持更灵活的过滤规则：

  aws logs filter-log-events --log-group-name hall-ac --log-stream-names sensors
  

• Python Boto3批量获取脚本：编写代码自动处理分页：

  import boto3
  
  client = boto3.client('logs')
  log_group = 'hall-ac'
  log_stream = 'sensors'
  next_token = None
  
  while True:
      kwargs = {
          'logGroupName': log_group,
          'logStreamName': log_stream,
          'startFromHead': True,
          'limit': 10000
      }
      if next_token:
          kwargs['nextToken'] = next_token
  
      response = client.get_log_events(**kwargs)
      events = response['events']
      if not events:
          break
  
      # 处理日志事件，示例为打印消息内容
      for event in events:
          print(event['message'])
  
      next_token = response.get('nextForwardToken')
      # 避免循环死锁，当token无更新时退出
      if next_token is None or next_token == response.get('nextBackwardToken'):
          break
  

内容的提问来源于stack exchange，提问作者user1545313