AWS CloudWatch Logs 单个S3导出日志任务能否添加多个日志组

核心问题答复 #

AWS原生的CloudWatch Logs导出到S3任务不支持单个任务包含多个日志组，每一个导出任务仅允许指定单个日志组，这是服务的固有设计限制。

LimitExceededException报错原因 #

你触发的报错是因为CloudWatch Logs对导出任务有默认配额限制：每个AWS区域、每个账户默认最多仅允许同时存在1个处于PENDING或RUNNING状态的导出任务，同时提交多个日志组的导出请求就会触发该报错。

可用解决方案 #

• 串行提交导出任务
  你可以通过脚本控制导出任务的提交逻辑，调用aws logs describe-export-tasks命令查询当前运行中的任务状态，确认前一个导出任务状态变为COMPLETED后再提交下一个日志组的导出请求，规避并发配额限制。
• 实时投递替代批量导出
  如果你需要长期统一收集多个日志组的日志，可以为所有目标日志组配置订阅过滤器，将日志实时投递到Kinesis Data Firehose后转存到S3，该方案不受导出任务配额限制，也无需手动发起导出任务。
• 跨日志组查询后导出
  针对按特定时间范围导出的场景，可以使用CloudWatch Logs Insights跨日志组查询（单次最多支持选择20个日志组），查询完成后直接将结果导出到S3，不需要逐个发起日志组导出任务。
• 提升服务配额
  如果业务确实需要更高的并发导出任务上限，可以到AWS Service Quotas控制台提交Running export tasks配额的提升申请。

内容的提问来源于stack exchange，提问作者hsarora95