如何让AWS Logs Insights自动识别Transit Gateway流日志字段以避免手动解析？

方法1：切换Transit Gateway流日志为JSON格式输出 #

Transit Gateway流日志默认采用纯文本格式，而VPC流日志的自动字段解析依赖结构化的JSON格式。你可以在创建或更新Transit Gateway流日志配置时，将日志格式设置为JSON。切换后，CloudWatch Log Insights会自动识别所有日志字段，无需手动编写parse语句。

优化后的查询示例：

fields @timestamp, srcAddr, dstAddr, protocol
| filter isIpv4InSubnet(srcAddr, "1.1.1.0/24")

方法2：使用内置的Transit Gateway流日志解析模式 #

如果无法切换日志格式（比如需要处理历史纯文本日志），可以利用CloudWatch Log Insights内置的解析模式：

• 在Log Insights查询界面，选中目标日志组后，点击右上角的Parse pattern按钮
• 选择AWS Transit Gateway Flow Logs模式，系统会自动解析@message中的所有字段
• 之后即可直接使用字段名进行查询，无需手动编写冗长的parse语句

示例查询：

fields @timestamp, srcAddr, packets
| filter isIpv4InSubnet(srcAddr, "1.1.1.0/24")

验证字段解析结果 #

应用上述任一方法后，可以执行以下查询确认所有字段已被正确解析：

fields *
| limit 10

内容的提问来源于stack exchange，提问作者Kyle