如何为Apache Kafka添加kafka-connect-spooldir插件及报错解决

问题重现 #

配置connect-distributed.properties的插件路径：

plugin.path=C:/Kafka/JDBC/kafka-connect-jdbc-10.4.0.jar,C:/kafka/jcustenborder-kafka-connect-spooldir-2.0.65/lib

启动后报NoClassDefFoundError: com/google/common/collect/Multimap，将Guava放入Kafka全局lib后，又出现NoClassDefFoundError: com/github/jcustenborder/kafka/connect/utils/VersionUtil。

修复步骤 #

1. 遵循Kafka Connect插件隔离规则 #

Kafka Connect的类加载器会隔离每个插件的依赖，不能将插件依赖放入Kafka全局lib目录，必须放在插件自身的lib文件夹下，否则会出现类加载冲突或无法识别的问题。

2. 确保插件包包含完整依赖 #

• 优先下载预编译的带依赖发行包：kafka-connect-spooldir的官方发行包（命名含with-dependencies）解压后，lib目录会自动包含Guava、kafka-connect-utils等所有必要依赖，无需手动添加。
• 若使用源码编译包，需手动补充缺失依赖到jcustenborder-kafka-connect-spooldir-2.0.65/lib：
  • 匹配插件版本的Guava jar包
  • 同版本的kafka-connect-utils jar包（包含VersionUtil类）

3. 修正插件路径配置 #

plugin.path应指向插件的根目录，而非lib子目录，Kafka Connect会自动扫描根目录下的lib文件夹加载依赖：

plugin.path=C:/Kafka/JDBC,C:/kafka/jcustenborder-kafka-connect-spooldir-2.0.65

（JDBC插件同理，指向根目录而非单个jar包）

4. 验证依赖完整性 #

启动前检查jcustenborder-kafka-connect-spooldir-2.0.65/lib目录，确认包含：

• guava-<版本号>.jar
• kafka-connect-utils-<版本号>.jar
• kafka-connect-spooldir-2.0.65.jar
  以及其他插件依赖文件，无缺失即可启动。

内容的提问来源于stack exchange，提问作者Muhamed Risvan M S