能否用create-export-task的query参数结合JMESpath过滤CloudWatch日志？

首先明确：create-export-task的--query参数不能用来过滤日志内容，你之前的尝试失败是因为对这个参数的用途理解有误。

一、--query参数的实际作用 #

这个参数是AWS CLI的通用参数，作用是过滤该命令返回的API响应结果，比如create-export-task执行后会返回类似{"taskId": "export-xxxx", "logGroupName": "your-group", ...}的JSON数据，--query只能从这些响应字段中筛选，无法触达日志本身的内容。

二、正确过滤日志内容的两种方法 #

1. 通过CloudWatch Insights筛选后导出

CloudWatch Insights支持日志内容查询，你可以先编写查询语句筛选目标日志，再导出到S3：

• 针对你的日志格式，筛选level为error的日志，Insights查询语句示例：

fields @timestamp, @message
| filter level = "error"
| sort @timestamp desc

• 执行查询后，在界面选择导出结果，指定S3存储桶即可完成筛选后导出。

2. 先全量导出到S3，再用S3 Select过滤

如果已经把日志全量导出到S3，可以用S3 Select结合JMESPath语法过滤内容：

• 针对你的JSON格式日志，S3 Select查询示例：

SELECT * FROM s3object s
WHERE json_extract_scalar(s, '$.level') = 'error'

• 执行该查询后，可将筛选结果保存到新的S3对象中。

补充说明 #

你的日志格式是合法的JSON行格式（每行一个JSON对象），完全支持上述两种筛选方式，问题根源在于对create-export-task的--query参数用途误解。

内容的提问来源于stack exchange，提问作者evonzz