如何在BEAM Worker中配置自定义Log4j2日志并解决依赖冲突？

问题根源 #

BEAM SDK会传递引入log4j-to-slf4j依赖，而你配置的log4j-slf4j2-impl与它互斥：前者是将SLF4J日志请求绑定到Log4j2实现，后者是把Log4j日志桥接到SLF4J，两者共存会触发LoggingException。

解决方案 #

1. 排除BEAM依赖中的log4j-to-slf4j

在所有BEAM相关的Maven依赖中添加排除规则，确保log4j-to-slf4j不会被引入。以beam-sdks-java-core为例：

<dependency>
  <groupId>org.apache.beam</groupId>
  <artifactId>beam-sdks-java-core</artifactId>
  <version>你的BEAM版本号</version>
  <exclusions>
    <exclusion>
      <groupId>org.apache.logging.log4j</groupId>
      <artifactId>log4j-to-slf4j</artifactId>
    </exclusion>
  </exclusions>
</dependency>

如果使用了BEAM的其他模块（如IO组件、特定Runner），需要对这些模块的依赖也执行相同的排除操作。

2. 验证依赖树

执行以下命令检查依赖树，确认log4j-to-slf4j已被完全排除：

mvn dependency:tree | grep log4j

输出中不应出现log4j-to-slf4j的条目。

3. 确保Worker加载自定义Log4j2配置

• 将Log4j2配置文件（如log4j2.xml）放置在src/main/resources目录下，确保打包时被包含进JAR。
• 若使用分布式Runner（如Dataflow），可通过--files参数显式传递配置文件：

  mvn exec:java -Dexec.mainClass="你的管道主类全路径" \
    -Dexec.args="--runner=DataflowRunner --files=src/main/resources/log4j2.xml --其他管道参数"
  

4. 保持Log4j2版本一致性

确保log4j-core和log4j-slf4j2-impl的版本完全一致（你当前配置的2.20.0符合要求），避免因版本差异引发其他问题。

内容的提问来源于stack exchange，提问作者Nikolay Bogdanov