Kafka连接器log4j追加器文件无写入问题排查求助

我来帮你一步步拆解这个日志不写入文件的问题——这种情况在Kafka Connector的胖JAR（带依赖可执行JAR）场景里挺常见的，先别急着改代码，咱们先从几个核心方向入手：

一、为什么日志文件没有写入？常见原因及排查步骤 #

1. log4j配置文件未被正确加载 #

这是最频繁出现的问题，尤其是打包成胖JAR时很容易踩坑：

• 检查配置是否在JAR中：用命令jar tf your-connector-fat.jar查看，确认log4j.properties是否在JAR的根目录或者resources目录下
• 启动时显式指定配置路径：Kafka Connector的默认启动脚本可能会加载自身的log4j配置，直接覆盖你的自定义配置。启动时一定要手动指定配置文件：

  # Linux/Mac环境
  bin/connect-standalone.sh -Dlog4j.configuration=file:/path/to/your/log4j.properties config/connect-standalone.properties
  # Windows环境
  bin\connect-standalone.bat -Dlog4j.configuration=file:C:\path\to\your\log4j.properties config\connect-standalone.properties
  

• 开启log4j调试模式：启动时添加-Dlog4j.debug=true，控制台会打印log4j的完整加载过程，比如是否找到配置文件、有没有解析错误，一眼就能定位问题

2. 日志级别配置不匹配 #

就算配置文件加载成功了，级别设置不对也会导致无日志输出：

• 检查log4j.rootLogger是否包含你的文件追加器，比如：

  log4j.rootLogger=INFO, console, file  # 必须把file追加器加入根日志器
  

• 确认文件追加器的阈值级别合理，比如如果你的代码只打DEBUG日志，就要把阈值改成DEBUG：

  log4j.appender.file.Threshold=DEBUG
  

3. 文件权限或路径问题 #

• Linux环境：检查日志文件所在目录的权限，确保运行Connector的用户有写入权限。可以手动创建文件并授权：

  touch /path/to/your/logs/connector.log
  chown kafka-user:kafka-group /path/to/your/logs/connector.log
  

• Windows环境：排查是否被杀毒软件拦截，或者日志文件被其他程序锁定（比如用记事本打开着没关闭）

4. 依赖冲突导致log4j失效 #

Kafka本身自带日志框架，如果你的JAR打包了冲突的log4j版本，会直接导致配置失效：

• 用mvn dependency:tree查看依赖树，确认log4j的版本和Kafka运行环境的版本一致（比如Kafka 2.x通常用log4j 1.2.17）
• 如果你的POM里log4j依赖是compile范围，立刻改成provided——因为Kafka环境已经提供了这个依赖，打包进去只会引发类冲突

二、是否需要修改仓库代码？ #

90%的情况完全不需要改代码，除非你遇到以下两种极端情况：

• 代码里硬编码了日志配置（比如手动指定了控制台追加器，完全没读取外部配置文件）
• 代码使用了其他日志框架（比如java.util.logging而不是log4j）

先按上面的排查步骤走，确认配置和依赖没问题后，再考虑代码层面的调整。

三、POM文件的关键注意事项 #

针对Kafka Connector的胖JAR打包，POM里这几个点一定要盯紧：

1. 依赖范围设置 #

• kafka-connect-api：必须设为provided，因为Kafka Connect运行环境已经包含这个API，打包进去会引发类冲突：

  <dependency>
      <groupId>org.apache.kafka</groupId>
      <artifactId>connect-api</artifactId>
      <version>${kafka.version}</version>
      <scope>provided</scope>
  </dependency>
  

• log4j：同样设为provided，避免和Kafka自带的log4j版本冲突：

  <dependency>
      <groupId>log4j</groupId>
      <artifactId>log4j</artifactId>
      <version>1.2.17</version>
      <scope>provided</scope>
  </dependency>
  

• IBM MQ相关依赖：设为compile，因为Kafka环境不会自带这些依赖，必须打包进JAR

2. 打包插件的配置 #

如果用maven-shade-plugin打包胖JAR，要排除provided范围的依赖，避免打包冗余类：

<plugin>
    <groupId>org.apache.maven.plugins</groupId>
    <artifactId>maven-shade-plugin</artifactId>
    <version>3.2.4</version>
    <executions>
        <execution>
            <phase>package</phase>
            <goals>
                <goal>shade</goal>
            </goals>
            <configuration>
                <filters>
                    <filter>
                        <artifact>*:*</artifact>
                        <excludes>
                            <exclude>META-INF/*.SF</exclude>
                            <exclude>META-INF/*.DSA</exclude>
                            <exclude>META-INF/*.RSA</exclude>
                        </excludes>
                    </filter>
                </filters>
                <artifactSet>
                    <excludes>
                        <exclude>org.apache.kafka:connect-api</exclude>
                        <exclude>log4j:log4j</exclude>
                    </excludes>
                </artifactSet>
            </configuration>
        </execution>
    </executions>
</plugin>

如果用maven-assembly-plugin，也要确保只打包compile范围的依赖。

3. 避免重复依赖 #

用mvn dependency:tree检查是否有重复的日志相关依赖（比如同时引入slf4j-log4j12和log4j），如果有，排除冗余的依赖项。

内容的提问来源于stack exchange，提问作者MukthyarStack