如何通过DescribeLogStreamsRequest获取AWS CloudWatch超过50个日志流

AWS CloudWatch Logs的DescribeLogStreams接口默认最多返回50条日志流，但可以通过分页机制获取更多（甚至全部）最新的日志流，核心是利用返回结果中的nextToken参数循环发起请求，直到没有更多结果。

具体实现步骤 #

1. 保留原有的排序规则（按LastEventTime降序），确保拿到的是最新的日志流
2. 循环调用describeLogStreams，每次将上一次返回的nextToken传入下一次请求
3. 把每次请求返回的日志流合并到同一个集合中，最后统一处理

修改后的完整代码 #

AWSLogs logsClient = builder.withCredentials(new AWSStaticCredentialsProvider(awsCreds))
        .withRegion(Regions.EU_CENTRAL_1)
        .withClientConfiguration(clientConfig).build();

String nextToken = null;
List<LogStream> allLogStreams = new ArrayList<>();
String logGroupName = "foo"; // 注意修正你原代码里的拼写错误（曾出现"foo"和"fooo"不一致）

do {
    DescribeLogStreamsRequest describeLogStreamsRequest = new DescribeLogStreamsRequest()
            .withLogGroupName(logGroupName)
            .withOrderBy(OrderBy.LastEventTime)
            .withDescending(true)
            .withNextToken(nextToken); // 传入分页标记，获取下一批结果

    DescribeLogStreamsResult describeLogStreamsResult = logsClient.describeLogStreams(describeLogStreamsRequest);
    allLogStreams.addAll(describeLogStreamsResult.getLogStreams());
    nextToken = describeLogStreamsResult.getNextToken();

} while (nextToken != null); // 直到没有更多结果为止

// 遍历所有获取到的日志流
for (LogStream logStream : allLogStreams) {
    GetLogEventsRequest getLogEventsRequest = new GetLogEventsRequest()
            .withStartTime(startTimestamp)
            .withEndTime(endTimestamp)
            .withLogGroupName(logGroupName)
            .withLogStreamName(logStream.getLogStreamName());
    
    // 这里添加日志事件的处理逻辑，比如获取并解析日志内容
    GetLogEventsResult logEventsResult = logsClient.getLogEvents(getLogEventsRequest);
    // ... 处理logEventsResult.getEvents()
}

额外注意事项 #

• 原代码中logGroupName存在拼写不一致的问题，务必统一为正确的日志组名称
• 如果日志流数量极大，可以考虑添加循环次数限制，避免无限循环
• GetLogEvents接口同样有返回条数限制（默认最多1000条），如果需要获取大量日志事件，也需要用类似的分页方式（利用nextForwardToken）

内容的提问来源于stack exchange，提问作者Tobi