ECS中SpringBoot服务高负载下CloudWatch日志合并问题求助

问题根源 #

高负载场景下，多条JSON日志被合并成单条输出到stdout，awslogs驱动无法按换行符分割，导致CloudWatch将其识别为单个日志条目，无法解析内部的多个JSON对象，进而无法通过custom_field过滤。

解决方案 #

1. 强制Logback立即刷新并添加换行符 #

修改logback.xml的ConsoleAppender，明确开启立即刷新并指定换行符，避免JVM缓冲多条日志：

<appender name="JSON_APPENDER" class="ch.qos.logback.core.ConsoleAppender">
  <!-- 强制每次日志输出后立即刷新到控制台 -->
  <immediateFlush>true</immediateFlush>
  <encoder class="net.logstash.logback.encoder.LogstashEncoder">
    <!-- 明确每条日志末尾添加换行符 -->
    <lineSeparator>%n</lineSeparator>
  </encoder>
</appender>

<logger name="JSON_LOGGER" level="INFO" additivity="false">
  <appender-ref ref="JSON_APPENDER"/>
</logger>

2. 配置awslogs驱动的多行分割规则 #

在ECS任务定义的日志配置中添加多行匹配规则，兜底处理极少数未换行的情况，识别JSON日志的起始标记：

"logConfiguration": {
  "logDriver": "awslogs",
  "options": {
    "awslogs-group": "...",
    "awslogs-region": "...",
    "awslogs-stream-prefix": "ecs",
    // 匹配以{开头的行作为新日志的起始
    "awslogs-multiline-pattern": "^\\{"
  }
}

3. 确保Java应用容器输出无缓冲 #

在Docker启动命令中添加必要参数，避免容器层面的输出缓冲：

ENTRYPOINT ["java", "-jar", "-Djava.io.tmpdir=/tmp", "-Dlogback.configurationFile=logback.xml", "your-app.jar"]

（-Djava.io.tmpdir=/tmp是容器环境通用优化，避免临时目录权限问题）

验证方法 #

1. 本地启动应用，查看控制台输出，确认每条JSON日志单独一行，无合并情况。
2. 部署到ECS后，在CloudWatch日志组中查看日志，确认每条日志都是独立的JSON对象，且custom_field可正常过滤。

内容的提问来源于stack exchange，提问作者potato_programmer