Kafka Connect分布式模式无法创建S3SourceConnector求助

问题确认 #

已明确以下信息：

• S3连接器JAR包存放路径：/usr/share/java/kafka/s3-connect
• connect-distributed.properties和connect-standalone.properties均配置plugin.path指向上述路径
• 两种模式启动Worker后，执行curl localhost:8083/connector-plugins | jq均可看到插件信息（注意输出中存在拼写笔误conenct，需确认创建请求使用的是正确的connect）
• 独立模式可正常创建连接器，分布式模式创建时报错：Failed to find any class that implements Connector and which name matches "io.confluent.connect.s3.source.S3SourceConnector"

排查步骤 #

1. 验证分布式Worker的实际插件路径 #

分布式模式下，Worker可能因环境变量或配置加载顺序问题，未使用预期的plugin.path：

• 登录分布式Worker Pod，执行echo $CONNECT_PLUGIN_PATH，检查环境变量是否覆盖了配置文件中的plugin.path
• 查看Worker启动日志，搜索plugin.path或Loading plugin from关键词，确认实际加载的插件路径包含/usr/share/java/kafka/s3-connect

2. 检查JAR包的权限与完整性 #

分布式Worker进程的运行用户可能与独立模式不同，导致无法读取JAR包：

• 执行ls -l /usr/share/java/kafka/s3-connect/，确认JAR包的所有者和权限（确保Worker进程用户拥有读权限）
• 执行jar tf /usr/share/java/kafka/s3-connect/<S3连接器JAR包文件名>，验证JAR包内存在io/confluent/connect/s3/source/S3SourceConnector.class文件

3. 排查类加载隔离配置 #

Kafka Connect分布式模式默认启用类加载隔离，可能导致插件类无法被正确加载：

• 检查connect-distributed.properties中的plugin.isolation配置，若值为plugin，尝试改为classloader（修改后需重启Worker生效）
• 确认插件路径下无重复的连接器JAR包，避免类加载冲突

4. 核对创建请求的类名准确性 #

确认创建连接器的请求中，connector.class的值与插件列表返回的类名完全一致：

• 示例正确的创建请求片段：

  {
    "name": "s3-source-connector",
    "config": {
      "connector.class": "io.confluent.connect.s3.source.S3SourceConnector",
      // 其他配置项...
    }
  }
  

5. 检查分布式集群节点一致性 #

若为多节点集群，需确保所有Worker Pod的配置、JAR包路径及权限完全一致：

• 对所有Worker节点执行curl <节点IP>:8083/connector-plugins | jq，确认插件均能正常列出
• 验证所有节点的connect-distributed.properties配置无差异，无节点单独覆盖plugin.path

内容的提问来源于stack exchange，提问作者DarkStar