使用CloudWatch Agent监控日志及告警时如何定位出错EC2实例

问题根因 #

当前收到的告警邮件缺少实例、日志组/流标识，本质是初始配置三个环节的缺省设置导致的：

• 日志采集阶段多实例共用了固定命名的日志流，没有和实例ID做绑定标记
• 日志匹配用的Metric Filter没有把实例ID作为统计维度，所有实例的匹配计数被聚合到同一个无标签的指标序列中
• SNS通知用了CloudWatch默认的固定模板，没有把已有的维度信息渲染到邮件正文里

具体调整步骤 #

1. 从采集源头给日志绑定实例标识 #

直接修改实例上CloudWatch Agent的配置文件（默认路径/opt/aws/amazon-cloudwatch-agent/bin/config.json），把日志采集规则里的log_stream_name从固定值改成动态获取实例ID的变量，不要让多实例共用同一个日志流名称。
参考配置片段：

"logs": {
    "logs_collected": {
        "files": {
            "collect_list": [
                {
                    "file_path": "/var/log/messages",
                    "log_group_name": "ec2-linux-var-log-messages",
                    "log_stream_name": "{instance_id}",
                    "timestamp_format": "%b %d %H:%M:%S"
                }
            ]
        }
    }
}

改完重启CloudWatch Agent生效后，每个实例上传的日志流直接以自身的EC2实例ID命名，从日志检索层面就能直接区分归属，不需要额外做映射。

2. 修正Metric Filter的维度配置 #

之前用来匹配"error"字符串的日志Metric Filter，不要只做简单的匹配计数：

• 配置Filter规则时，在维度配置块主动添加InstanceId维度，值直接关联日志流中的实例ID
• 不要把所有实例的匹配计数聚合到同一个无维度的指标下
  调整后生成的告警指标会自带实例ID标签，告警触发时的原始上下文天然包含对应实例、日志组的信息，不会出现维度为空、无法关联资源的情况。

3. 自定义SNS通知模板，把关键定位信息放进邮件 #

不用依赖CloudWatch默认的简陋通知格式，CloudWatch告警支持完全自定义SNS通知的JSON内容，直接把需要的定位信息嵌到邮件正文：

1. 打开对应CloudWatch Alarm的编辑页面，找到通知配置栏
2. 把默认的固定通知格式，切换为「自定义JSON消息」
3. 按照实际需求编写通知内容，通过占位符引用需要的维度字段，参考模板：

{
  "告警名称": "$$.AlarmName",
  "触发原因": "$$.NewStateReason",
  "关联日志组": "$$.Configuration.Metrics[0].MetricStat.Metric.Dimensions.LogGroupName",
  "故障EC2实例ID": "$$.Configuration.Metrics[0].MetricStat.Metric.Dimensions.InstanceId",
  "触发阈值": "$$.Threshold"
}

配置完成后，告警触发时SNS会自动把占位符替换为实际值，邮件正文直接展示对应的实例ID、日志组信息，不需要再手动去控制台逐个排查多台实例的日志。
如果需要进一步提升效率，还可以在模板里拼接CloudWatch日志控制台的跳转链接，把日志组、触发时间范围作为参数嵌进去，收到邮件点击链接就能直接跳转到报错日志的检索结果页。 #

避坑提醒 #

• 绝对不要让多台EC2用完全相同的log_stream_name上传同一个日志组的日志，否则所有日志会混杂在同一个流里，就算后续加了维度标签也无法做精准区分
• 配置告警时不要把所有维度的指标做聚合统计，否则告警触发时会把所有实例的命中数做加总，根本无法拆分出单实例的故障

内容的提问来源于stack exchange，提问作者Pety