Confluent Kafka Connect容器中使用Debezium基于内容路由的问题咨询

结论 #

可以在Confluent Kafka Connect容器中使用Debezium的基于内容的路由，你遇到的java.lang.ClassNotFoundException: io.debezium.DebeziumException异常，是因为Confluent官方的Kafka Connect镜像默认未预装Debezium的插件依赖。

异常原因 #

Debezium的基于内容的路由属于Debezium提供的自定义转换插件，而Confluent官方Kafka Connect镜像仅包含Confluent自有组件及通用插件，未包含Debezium核心依赖和转换类，导致Connect加载配置时找不到对应类。

解决步骤 #

方式1：构建包含Debezium插件的自定义Connect镜像

创建Dockerfile，基于Confluent Connect镜像添加Debezium PostgreSQL连接器包（该包包含Debezium核心依赖及所需转换类）：

FROM confluentinc/cp-kafka-connect:latest
# 替换<DEBEZIUM_VERSION>为与Confluent版本兼容的Debezium版本（如Confluent 7.4对应Debezium 2.4）
RUN curl -L https://repo1.maven.org/maven2/io/debezium/debezium-connector-postgresql/<DEBEZIUM_VERSION>/debezium-connector-postgresql-<DEBEZIUM_VERSION>.tar.gz | tar xz -C /usr/share/java/

构建镜像后，使用该自定义镜像启动Connect容器。

方式2：在运行中的容器内安装Debezium插件

1. 进入Connect容器：

docker exec -it <你的Connect容器名称> bash

2. 使用Confluent Hub安装Debezium PostgreSQL连接器：

confluent-hub install debezium/debezium-connector-postgresql:<DEBEZIUM_VERSION>

3. 安装完成后重启Connect容器，使插件生效。

注意事项 #

• 必须确保Debezium版本与Confluent Platform版本兼容，避免依赖冲突
• 配置内容路由转换时，需正确指定转换类：io.debezium.transforms.ContentBasedRouting
• 检查Connect的plugin.path配置，确保插件所在目录（默认/usr/share/java/）被包含在路径中

内容的提问来源于stack exchange，提问作者thegiau.pham