无法下载JDBC Sink插件，求Windows11本地Kafka Connect部署方案

一、获取JDBC Sink Connector的Confluent Hub ID #

官方JDBC Sink Connector的Confluent Hub ID为confluentinc/kafka-connect-jdbc，你可以直接用这个ID通过confluent-hub命令安装，示例命令：

confluent-hub install --no-prompt confluentinc/kafka-connect-jdbc:latest

也可以指定具体稳定版本（比如10.7.4）。如果不想依赖Confluent Hub，也可以直接下载对应版本的zip包，解压后将jar文件放到Kafka Connect的插件目录中，同时记得下载MySQL JDBC驱动（如mysql-connector-java-8.x.x.jar），一并放入该插件的独立子目录下（Kafka Connect要求每个插件单独占用一个目录）。

二、Windows 11本地开发Kafka Connect的最新方案 #

方案1：使用Docker Compose（推荐，环境隔离无依赖冲突） #

Windows 11支持WSL2，用Docker Compose可快速搭建单实例Kafka集群及Connect服务，避免本地环境配置繁琐。以下是简化的docker-compose.yml配置：

version: '3.8'
services:
  zookeeper:
    image: confluentinc/cp-zookeeper:7.5.0
    environment:
      ZOOKEEPER_CLIENT_PORT: 2181
      ZOOKEEPER_TICK_TIME: 2000

  kafka:
    image: confluentinc/cp-kafka:7.5.0
    depends_on:
      - zookeeper
    ports:
      - "9092:9092"
    environment:
      KAFKA_BROKER_ID: 1
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9092
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
      KAFKA_TRANSACTION_STATE_LOG_MIN_ISR: 1
      KAFKA_TRANSACTION_STATE_LOG_REPLICATION_FACTOR: 1

  connect:
    image: confluentinc/cp-kafka-connect:7.5.0
    depends_on:
      - kafka
    ports:
      - "8083:8083"
    environment:
      CONNECT_BOOTSTRAP_SERVERS: kafka:9092
      CONNECT_REST_ADVERTISED_HOST_NAME: connect
      CONNECT_GROUP_ID: connect-group
      CONNECT_CONFIG_STORAGE_TOPIC: connect-configs
      CONNECT_OFFSET_STORAGE_TOPIC: connect-offsets
      CONNECT_STATUS_STORAGE_TOPIC: connect-statuses
      CONNECT_CONFIG_STORAGE_REPLICATION_FACTOR: 1
      CONNECT_OFFSET_STORAGE_REPLICATION_FACTOR: 1
      CONNECT_STATUS_STORAGE_REPLICATION_FACTOR: 1
      CONNECT_KEY_CONVERTER: org.apache.kafka.connect.json.JsonConverter
      CONNECT_VALUE_CONVERTER: org.apache.kafka.connect.json.JsonConverter
      CONNECT_KEY_CONVERTER_SCHEMAS_ENABLE: false
      CONNECT_VALUE_CONVERTER_SCHEMAS_ENABLE: false
      CONNECT_PLUGIN_PATH: "/usr/share/java,/usr/share/confluent-hub-components"
    # 如需手动挂载本地插件目录，可取消下方注释
    # volumes:
    #   - ./kafka-connect-plugins:/usr/share/confluent-hub-components

操作步骤：

1. 执行docker-compose up -d启动所有服务
2. 进入Connect容器安装JDBC Connector：

   docker exec -it <你的connect容器名称> confluent-hub install --no-prompt confluentinc/kafka-connect-jdbc:latest
   

3. 重启Connect容器生效：docker-compose restart connect

方案2：本地直接部署Apache Kafka #

1. 下载最新稳定版的Apache Kafka二进制包（需包含bin/windows目录，如3.6.0版本），解压到本地目录。
2. 配置Kafka Connect单机模式：修改config/connect-standalone.properties中的关键参数：

   bootstrap.servers=localhost:9092
   key.converter=org.apache.kafka.connect.json.JsonConverter
   value.converter=org.apache.kafka.connect.json.JsonConverter
   key.converter.schemas.enable=false
   value.converter.schemas.enable=false
   offset.storage.file.filename=/tmp/connect.offsets
   plugin.path=C:/kafka/plugins # 自定义插件目录，需提前创建
   

3. 准备插件：
   • 下载Confluent JDBC Connector的zip包，解压到C:/kafka/plugins/kafka-connect-jdbc目录
   • 下载MySQL JDBC驱动（如mysql-connector-java-8.0.30.jar），放入同一目录
4. 依次启动服务：
   • 启动ZooKeeper：.\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties
   • 启动Kafka：.\bin\windows\kafka-server-start.bat .\config\server.properties
   • 启动Kafka Connect：.\bin\windows\connect-standalone.bat .\config\connect-standalone.properties

内容的提问来源于stack exchange，提问作者Rishabh Raghwendra