如何在AWS Log Insights中查询日志消息先后模式并关联用户？

核心思路 #

利用Log Insights的窗口函数关联相邻日志条目，将包含用户信息的前置日志（匹配/text1/）与后续的目标日志（匹配/text2/）配对，过滤出符合先后顺序的组合后按用户统计触发次数。

查询语句示例（带请求ID关联） #

假设日志包含requestId（同请求日志的唯一标识）、message（日志内容）、user（用户信息，仅在匹配/text1/的日志中存在）字段：

fields @timestamp, message, user, requestId
| sort @timestamp asc
| partition by requestId -- 按请求ID分组，确保仅关联同一次请求的日志
| filter (message like /text1/ and LEAD(message) like /text2/)
| stats count(*) as pattern_trigger_count by user

语句说明 #

• partition by requestId：通过请求ID将同一次操作的日志归为一组，避免跨请求的日志误匹配，这是最准确的关联方式。
• LEAD(message)：获取当前日志的下一条日志内容，判断是否符合/text2/的匹配规则，筛选出text1紧跟text2的日志对。
• stats count(*) by user：基于用户维度统计该触发模式的出现次数。

无请求ID时的备选方案 #

如果日志没有requestId这类关联字段，只能基于时间顺序的相邻日志配对：

fields @timestamp, message, user
| sort @timestamp asc
| addfield next_message = LEAD(message)
| filter message like /text1/ and next_message like /text2/
| stats count(*) as pattern_trigger_count by user

注意：这种方式可能匹配到非同一请求的相邻日志，准确性依赖日志时序的完整性，需确保日志无乱序或无关日志插入。

内容的提问来源于stack exchange，提问作者The-Lomax