按需将Tomcat应用日志推送至AWS CloudWatch的技术问询

Absolutely! You can skip writing logs to local files entirely and send Tomcat application logs directly to AWS CloudWatch. Here are three practical, production-ready approaches to make this happen:

1. 自定义Tomcat Valve结合AWS SDK #

Tomcat的Valve API允许你在日志生成时直接拦截和处理。你可以构建一个自定义Valve，把日志事件直接发送到CloudWatch，完全跳过本地文件写入步骤。

以下是简化实现示例：

• 先在项目中添加AWS CloudWatch Logs SDK依赖（比如v2版本的software.amazon.awssdk:cloudwatchlogs）。
• 创建自定义Valve类，实现org.apache.catalina.Valve接口：

import org.apache.catalina.Valve;
import org.apache.catalina.connector.Request;
import org.apache.catalina.connector.Response;
import software.amazon.awssdk.services.cloudwatchlogs.CloudWatchLogsClient;
import software.amazon.awssdk.services.cloudwatchlogs.model.InputLogEvent;
import software.amazon.awssdk.services.cloudwatchlogs.model.PutLogEventsRequest;

import javax.servlet.ServletException;
import java.io.IOException;
import java.time.Instant;
import java.util.Collections;

public class CloudWatchLogValve implements Valve {
    private CloudWatchLogsClient cwClient;
    private String logGroupName = "your-tomcat-log-group";
    private String logStreamName = "your-tomcat-log-stream";

    @Override
    public void invoke(Request request, Response response) throws IOException, ServletException {
        // 捕获日志数据（可根据需求自定义日志内容）
        String logMessage = String.format("Request: %s %s | Status: %d", 
            request.getMethod(), request.getRequestURI(), response.getStatus());

        // 发送至CloudWatch
        InputLogEvent logEvent = InputLogEvent.builder()
            .timestamp(Instant.now().toEpochMilli())
            .message(logMessage)
            .build();

        PutLogEventsRequest cwRequest = PutLogEventsRequest.builder()
            .logGroupName(logGroupName)
            .logStreamName(logStreamName)
            .logEvents(Collections.singletonList(logEvent))
            .build();

        cwClient.putLogEvents(cwRequest);

        // 将请求/响应传递给下一个Valve
        getNext().invoke(request, response);
    }

    // 在初始化方法中创建CloudWatch客户端
    @Override
    public void init() {
        cwClient = CloudWatchLogsClient.create();
    }

    // 实现Valve接口要求的其他方法（getNext(), setNext(), destroy()）
}

• 在server.xml的Engine或Host节点下注册这个Valve：

<Valve className="com.yourpackage.CloudWatchLogValve" logGroupName="TomcatDirectLogs" logStreamName="AppLogs"/>

注意：生产环境中一定要实现异步日志发送，避免阻塞Tomcat的请求处理流程，同时要为失败的API调用添加重试逻辑。

2. 使用Logback/Log4j2的CloudWatch Appender #

如果你的应用使用Logback或Log4j2作为日志框架，可以借助官方或社区维护的Appender，直接把日志发送到CloudWatch，无需写入文件。

Logback配置示例： #

• 添加CloudWatch Logback Appender依赖：

<dependency>
    <groupId>com.amazonaws</groupId>
    <artifactId>aws-java-sdk-cloudwatchlogs</artifactId>
    <version>1.12.500</version>
</dependency>
<dependency>
    <groupId>com.amazonaws</groupId>
    <artifactId>aws-logback-appender</artifactId>
    <version>1.1.0</version>
</dependency>

• 在logback.xml中配置Appender：

<appender name="CLOUDWATCH" class="com.amazonaws.services.logs.logback.AWSLogsAppender">
    <logGroupName>Tomcat-App-Direct-Logs</logGroupName>
    <logStreamName>Application-Logs</logStreamName>
    <awsRegion>us-east-1</awsRegion>
    <!-- 开启异步日志，避免阻塞业务线程 -->
    <async>true</async>
</appender>

<root level="info">
    <appender-ref ref="CLOUDWATCH"/>
</root>

• 更新Tomcat的日志配置，替换默认的logging.properties为你的Logback配置即可。

3. 将Tomcat标准输出管道到CloudWatch Agent #

你可以配置Tomcat把所有日志输出到标准输出，然后通过管道将输出直接传给AWS CloudWatch Agent，由Agent发送到CloudWatch，全程不写入文件。

• 修改Tomcat的logging.properties，将所有日志重定向到标准输出：

handlers = java.util.logging.ConsoleHandler
.level = INFO
java.util.logging.ConsoleHandler.level = INFO
java.util.logging.ConsoleHandler.formatter = java.util.logging.SimpleFormatter

• 创建CloudWatch Agent配置文件amazon-cloudwatch-agent.json，配置读取标准输入：

{
  "logs": {
    "logs_collected": {
      "stdin": {
        "destination": "Tomcat-Stdout-Logs/Tomcat-Stream"
      }
    }
  }
}

• 启动Tomcat并将输出管道到CloudWatch Agent：

./catalina.sh run | amazon-cloudwatch-agent-ctl -a append -m ec2 -c file:/path/to/amazon-cloudwatch-agent.json -s

所有方案的关键注意事项： #

• IAM权限：确保Tomcat进程所在的EC2实例或执行角色拥有logs:CreateLogStream、logs:PutLogEvents、logs:DescribeLogStreams等必要权限。
• 批量发送：为减少API调用开销，建议批量发送日志事件（大多数Appender和SDK客户端会自动处理）。
• 错误处理：实现重试逻辑避免日志丢失，并为CloudWatch API错误设置告警。
• 性能优化：使用异步日志方式，防止日志处理拖慢Tomcat应用的响应速度。

内容的提问来源于stack exchange，提问作者hny