Windows下Confluent Kafka connect-datagen容器断开问题

基础排查步骤 #

• 执行命令获取Connect容器实时日志，定位具体报错栈：
  docker logs connect --tail 100
• 结合同场景高频故障特征，常见触发点及对应修复方法如下：

高频故障修复 #

1. 容器启动时序无强依赖 #

当前compose配置仅通过depends_on控制容器启动顺序，该配置不会等待Broker、Schema Registry进程完全就绪，Connect会在依赖服务未完成初始化时提前启动，因无法连通Broker、读取元数据直接退出。
修复：
为Connect服务增加启动前的健康校验逻辑，替换弱依赖关系，在connect服务配置块中追加如下内容：

entrypoint: 
      - bash
      - -c
      - |
        echo "等待依赖服务就绪...";
        cub kafka-ready -b broker:29092 1 60;
        cub sr-ready schema-registry 8081 60;
        echo "启动Connect进程...";
        /etc/confluent/docker/run

2. 残留元数据冲突 #

多次启停服务后，Connect用于存储配置、偏移量、状态的内部主题会残留旧版本元数据，与当前Connect版本的格式要求不匹配，导致启动校验失败退出。
修复：
执行命令清理三类内部主题，Connect重启后会自动重建兼容的元数据：

docker exec broker kafka-topics --delete --bootstrap-server broker:29092 --topic docker-connect-configs
docker exec broker kafka-topics --delete --bootstrap-server broker:29092 --topic docker-connect-offsets
docker exec broker kafka-topics --delete --bootstrap-server broker:29092 --topic docker-connect-status

注意：清理内部主题操作仅适用于本地测试场景，生产环境执行前需确认无正在运行的连接器任务，避免业务中断。
单节点部署场景下，清理操作不会影响Broker、Schema Registry、KsqlDB等其他组件的运行。

3. 定制镜像的Toolbox兼容问题 #

当前使用的cnfldemos/cp-server-connect-datagen:0.4.0-6.1.0定制镜像，在Windows Docker Toolbox环境下存在插件路径扫描的权限、路径格式兼容问题，部分场景下会触发Java类加载失败导致进程退出。
修复：
将Connect服务镜像替换为官方基础镜像confluentinc/cp-kafka-connect:6.1.1，通过数据卷挂载方式引入Datagen插件，规避定制镜像的兼容bug，调整后的connect服务核心配置如下：

connect:
    image: confluentinc/cp-kafka-connect:6.1.1
    hostname: connect
    container_name: connect
    # 原有端口映射、依赖配置保持不变
    ports:
      - "8083:8083"
    environment:
      # 原有所有环境变量配置保持不变
      CONNECT_PLUGIN_PATH: "/usr/share/java,/usr/share/confluent-hub-components"
    volumes:
      - connect-plugins:/usr/share/confluent-hub-components

结果验证 #

• 完成上述调整后，全量重启所有服务
• 访问Connect REST接口http://<docker-toolbox主机IP>:8083/connector-plugins，若返回合法的连接器列表JSON响应，即代表Connect服务运行正常。

内容的提问来源于stack exchange，提问作者guidop21