如何在AWS CloudWatch Logs Insights中实现类SQL子查询逻辑？

要实现通过reqId关联错误日志与包含requestType的信息日志的需求，CloudWatch Logs Insights可以用join操作对应SQL中IN子查询的逻辑，具体写法如下：

正确查询语句 #

-- 提取所有触发Bad response format error的请求ID
parse @message /^(?<error_reqid>.*) Bad response format error$/ as error_reqid
| filter isPresent(error_reqid)
| stats by error_reqid
-- 关联包含requestType的日志条目，匹配相同reqId
| join (
    -- 从日志中提取reqId和对应的requestType
    parse @message /reqId=(?<reqid>[^ ]+) .*requestType=(?<requestType>[^ ]+)/ as reqid, requestType
    | filter isPresent(reqid) and isPresent(requestType)
) on $left.error_reqid = $right.reqid
-- 展示目标字段
| display reqid, requestType

之前尝试失效的原因 #

你之前的查询逻辑是在单条日志条目里同时匹配错误标识和requestType，但实际错误日志与包含requestType的日志是两条独立的条目，因此需要用join将两个数据集（错误reqId集合、requestType日志集合）通过reqId关联起来。

逻辑说明 #

1. 第一个查询块：筛选出所有含「Bad response format error」的日志，提取对应reqId并去重，得到出错请求ID集合。
2. 第二个查询块：从全量日志中提取包含reqId和requestType的结构化条目。
3. 通过join按reqId匹配两个集合，最终得到出错请求对应的requestType信息。

内容的提问来源于stack exchange，提问作者jsuk