在AWS托管的Apache Flink中按类设置日志级别

我太懂这种在托管服务里卡日志配置的头疼了！AWS Managed Flink（MSF）确实把很多底层配置封装了，但其实还是有办法实现你要的「自己代码打DEBUG、第三方库只打WARN」的需求，我给你分享两个靠谱的方法：

方法一：自定义log4j2配置文件（适合复杂场景） #

MSF默认会加载集群级的log4j2配置，但你可以通过指定JVM参数，让作业加载你自己打包的配置文件，步骤如下：

1. 编写自定义log4j2.xml
   把这个配置文件放在你Java项目的src/main/resources目录下，内容要兼顾MSF的日志收集逻辑（必须输出到Console，因为MSF会把控制台日志同步到CloudWatch）：

   <?xml version="1.0" encoding="UTF-8"?>
   <Configuration status="WARN">
       <Appenders>
           <!-- 复用MSF默认的控制台输出，确保日志能被CloudWatch收集 -->
           <Console name="Console" target="SYSTEM_OUT">
               <PatternLayout pattern="%d{yyyy-MM-dd HH:mm:ss.SSS} %-5level %logger{36} - %msg%n"/>
           </Console>
       </Appenders>
       <Loggers>
           <!-- 替换成你自己的代码包路径，设置为DEBUG级别 -->
           <Logger name="com.yourcompany.yourapp" level="DEBUG" additivity="false">
               <AppenderRef ref="Console"/>
           </Logger>
           <!-- 设置第三方库为WARN级别，这里以org.apache.http为例，替换成你要控制的包 -->
           <Logger name="org.apache.http" level="WARN" additivity="false">
               <AppenderRef ref="Console"/>
           </Logger>
           <!-- 根日志级别保持MSF默认的INFO，避免日志泛滥 -->
           <Root level="INFO">
               <AppenderRef ref="Console"/>
           </Root>
       </Loggers>
   </Configuration>
   

2. 打包配置文件到作业JAR
   编译打包你的Java项目，确保log4j2.xml被包含在JAR的根目录下（Maven/Gradle默认会把resources目录的内容打包进去）。

3. 在MSF作业中指定配置文件
   提交作业时，在「运行时配置」的「JVM选项」里添加以下参数：

   -Dlog4j.configurationFile=log4j2.xml
   

方法二：直接用JVM参数指定（适合简单场景） #

如果不需要复杂的日志格式，直接通过JVM参数就能单独指定某个包/类的日志级别，无需配置文件：

在MSF作业的「运行时配置」→「JVM选项」中添加以下参数（替换成你实际的包名）：

-Dlog4j.logger.com.yourcompany.yourapp=DEBUG -Dlog4j.logger.org.apache.http=WARN

• com.yourcompany.yourapp：替换成你自己的代码包路径
• org.apache.http：替换成你要限制的第三方库包路径，多个第三方库可以添加多个-Dlog4j.logger.[包名]=WARN参数

关键注意事项 #

• 必须输出到Console：MSF只会收集Flink作业的控制台日志到CloudWatch，所以你的日志配置一定要关联Console Appender，否则日志会丢失。
• 不要依赖环境变量：MSF的集群环境会覆盖部分自定义环境变量，所以直接用JVM参数是最可靠的方式。
• 验证日志输出：提交作业后，去CloudWatch的日志组（MSF会自动创建对应作业的日志组）里检查，确认你的代码输出DEBUG日志，第三方库只输出WARN及以上级别。

内容来源于stack exchange