Docker部署Kafka Connect对接ClickHouse报NoClassDefFoundError求解

报错核心原因：clickhouse-jdbc 0.2.4为瘦包，未内置Apache HttpClient系列传递依赖，Kafka Connect插件目录下缺少对应Jar包导致类加载失败。

1. 修正Kafka Connect镜像Dockerfile，补全依赖 #

你可以选择两种方式补全依赖：

方式一：手动下载指定依赖Jar #

FROM confluentinc/cp-kafka-connect-base:7.4.0 # 替换为你实际使用的Kafka Connect镜像版本

# 安装Confluent官方kafka-connect-jdbc插件
RUN confluent-hub install --no-prompt confluentinc/kafka-connect-jdbc:10.7.4 # 版本和镜像版本匹配即可

# 下载ClickHouse JDBC 0.2.4驱动
RUN wget -P /usr/share/confluent-hub-components/confluentinc-kafka-connect-jdbc/lib/ \
    https://github.com/ClickHouse/clickhouse-jdbc/releases/download/v0.2.4/clickhouse-jdbc-0.2.4.jar

# 补全缺失的Apache HttpClient等依赖
RUN wget -P /usr/share/confluent-hub-components/confluentinc-kafka-connect-jdbc/lib/ \
    https://repo1.maven.org/maven2/org/apache/httpcomponents/httpclient/4.5.13/httpclient-4.5.13.jar \
    && wget -P /usr/share/confluent-hub-components/confluentinc-kafka-connect-jdbc/lib/ \
    https://repo1.maven.org/maven2/org/apache/httpcomponents/httpcore/4.4.13/httpcore-4.4.13.jar \
    && wget -P /usr/share/confluent-hub-components/confluentinc-kafka-connect-jdbc/lib/ \
    https://repo1.maven.org/maven2/commons-logging/commons-logging/1.2/commons-logging-1.2.jar

方式二：Maven多阶段构建自动拉取所有传递依赖 #

避免手动找依赖漏包、版本不匹配问题：

# 依赖构建阶段：自动拉取clickhouse-jdbc所有关联依赖
FROM maven:3.8-openjdk-11-slim as deps-builder
RUN mkdir /deps && cd /deps
RUN echo '<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <groupId>temp</groupId>
    <artifactId>get-clickhouse-deps</artifactId>
    <version>1.0.0</version>
    <dependencies>
        <dependency>
            <groupId>ru.yandex.clickhouse</groupId>
            <artifactId>clickhouse-jdbc</artifactId>
            <version>0.2.4</version>
        </dependency>
    </dependencies>
</project>' > pom.xml
RUN mvn dependency:copy-dependencies -DoutputDirectory=./

# 正式镜像构建阶段
FROM confluentinc/cp-kafka-connect-base:7.4.0 # 替换为你实际使用的版本
RUN confluent-hub install --no-prompt confluentinc/kafka-connect-jdbc:10.7.4
# 复制所有依赖到jdbc插件目录
COPY --from=deps-builder /deps/*.jar /usr/share/confluent-hub-components/confluentinc-kafka-connect-jdbc/lib/

2. 配置说明（无需手动修改CLASSPATH） #

Confluent官方Kafka Connect镜像默认会自动扫描/usr/share/confluent-hub-components/、/usr/share/java/下所有子目录的Jar包，启动时自动加入进程CLASSPATH，你只需要把依赖放到上述目录的confluentinc-kafka-connect-jdbc/lib子目录下即可，不需要额外配置CLASSPATH环境变量。
如果使用自定义插件路径，仅需要在docker-compose的environment中添加如下配置即可：

CONNECT_PLUGIN_PATH: "/你的自定义插件目录路径"

3. 验证修复结果 #

• 重新构建Kafka Connect镜像并启动服务
• 执行docker exec -it <你的Kafka Connect容器名> bash进入容器
• 执行ls /usr/share/confluent-hub-components/confluentinc-kafka-connect-jdbc/lib/ | grep httpclient，确认对应Jar包存在
• 重新提交clickhouse-kospi-connector连接器任务，查看日志无类缺失报错即可

内容的提问来源于stack exchange，提问作者jelarum