Kafka Connect无法加载手动构建的aiven-kafka-connect-jdbc连接器

问题排查及解决步骤 #

• 修复connect-standalone.properties中plugin.path的语法错误
  你当前配置里的plugin.path末尾多了一个多余的逗号，会导致Kafka Connect解析路径时出错，无法正常识别插件目录，修改为：

plugin.path=/Kafka/kafka_2.13-2.8.0/Plugins,/Kafka/kafka_2.13-2.8.0/libs

• 调整插件目录结构符合Kafka Connect加载规则
  Kafka Connect默认会扫描plugin.path下每个子目录中的jar包，额外嵌套的lib层会导致jar包无法被扫描到，调整后目录结构应为：

/Kafka/
  -kafka_2.13-2.8.0/
    -Plugins/
      -aiven-kafka-connect-jdbc/
        -aiven-kafka-connect-jdbc-6.7.0-SNAPSHOT.jar

如果你使用的是不带依赖的瘦jar包，需要将所有依赖的jar包也放到aiven-kafka-connect-jdbc目录下。

• 验证构建的jar包完整性
  执行以下命令检查jar包中是否包含指定的Connector类，避免构建过程出错导致类缺失：

jar -tf aiven-kafka-connect-jdbc-6.7.0-SNAPSHOT.jar | grep io.aiven.connect.jdbc.JdbcSourceConnector

如果命令无输出，说明构建过程存在问题，需要重新编译打包。

• 检查文件及目录权限
  确保Kafka Connect的运行用户对/Kafka/kafka_2.13-2.8.0/Plugins目录及其下所有子目录、jar包有可读权限，权限不足也会导致插件加载失败。
• 清理connector.properties的配置格式
  你当前的connector.properties中多个配置项的等号后存在多余空格，比如table.whitelist= TRANSACTIONS、tasks.max= 1等，部分版本的Kafka Connect会将空格识别为配置值的一部分，建议删除所有等号前后的多余空格，示例：

table.whitelist=TRANSACTIONS
tasks.max=1
auto.create=true
auto.evolve=true

内容的提问来源于stack exchange，提问作者vishnupriya