Kubernetes环境下Kafka Connect找不到ElasticsearchSinkConnector问题求助

调试思路 #

• 核对插件路径配置：进入Kafka Connect Pod查看进程启动参数，确认plugin.path配置包含ES连接器jar所在目录。Confluent插件类加载机制要求每个连接器必须单独存放在plugin.path下的独立子目录中，不能将所有连接器jar都堆放在同一根目录，S3连接器适配性更强可以兼容混放场景，ES连接器通常不支持。
• 验证jar包有效性：执行命令jar -tf kafka-connect-elasticsearch-5.3.1.jar | grep ElasticsearchSinkConnector，确认jar包中确实存在io.confluent.connect.elasticsearch.ElasticsearchSinkConnector类；同时对比该jar与正常运行的S3连接器jar的文件权限，确保进程有可读权限。
• 排查类依赖冲突：开启类加载debug日志，在Connect启动参数中添加-Dorg.slf4j.simpleLogger.defaultLogLevel=debug，查看加载ES连接器时具体缺失的依赖项；同时检查自定义s3-sink-1.0-SNAPSHOT.jar是否包含和ES连接器冲突的公共依赖（比如Jackson、ES客户端类等）。
• 检查连接器配置正确性：确认提交的ES连接器配置中connector.class参数拼写完全正确，没有多余空格、大小写错误。

解决方案 #

• 按规范组织插件目录结构，示例如下：

${plugin.path}/
├── elasticsearch-sink/
│   └── 完整的ES连接器所有依赖jar（不要只放单个主jar）
└── s3-sink/
    ├── kafka-connect-s3-5.3.1.jar
    └── s3-sink-1.0-SNAPSHOT.jar

• 补充ES连接器完整依赖：不要仅放置kafka-connect-elasticsearch-5.3.1.jar单个主包，下载对应版本的Confluent Elasticsearch Sink Connector完整压缩包，解压后将所有依赖jar全部放入上述elasticsearch-sink子目录中，单个主包缺少大量ES客户端、公共工具类依赖会直接导致类加载失败。
• 若存在自定义包依赖冲突，对s3-sink-1.0-SNAPSHOT.jar做shade打包，将自定义依赖重命名隔离，避免和公共依赖版本冲突。

内容的提问来源于stack exchange，提问作者Ashit_Kumar