已安装JdbcSinkConnector但Kafka Connect运行时无法找到该类问题咨询

核心结论 #

对，在线安装连接器后必须重启Kafka Connect服务才能生效。

原因说明 #

• Kafka Connect进程启动时会一次性扫描plugin.path配置指定的目录下所有连接器JAR包，将对应实现类加载到JVM中。运行时通过confluent-hub安装的连接器虽然会被正确放到plugin.path对应目录，但已经启动的JVM不会主动扫描新增的JAR文件，也不会动态加载未预先注册的连接器类，因此部署连接器时会抛出找不到io.confluent.connect.jdbc.JdbcSinkConnector实现类的错误。
• 镜像构建阶段预先执行安装命令时，连接器文件在容器启动、Kafka Connect进程初始化前就已经存在于插件目录，进程启动时会完成类加载，因此运行时可以正常使用。

补充注意事项 #

• 如果使用分布式Kafka Connect集群，需要在所有集群节点上安装对应连接器后，逐个滚动重启节点，避免连接器任务调度到未安装插件的节点时再次触发同类错误。
• 虽然部分高版本Kafka Connect支持开启动态插件扫描能力，但生产环境不建议使用该特性，提前将连接器打入自定义镜像、或者安装后统一重启的方案稳定性更高。

内容的提问来源于stack exchange，提问作者Thomas G