分布式方式部署Snowflake Kafka Connector无法启动服务问题咨询
问题根因
Kafka Connect 分布式模式不支持在启动参数中直接传入连接器配置文件,你启动命令中追加的snowflake-connector.json属于无效参数,不会被识别加载。日志中出现的Jersey相关警告是Kafka 2.8.0版本的已知兼容性问题,属于非阻断性提示,从最后一行日志可以确认Kafka Connect服务本身已经启动成功,仅未部署Snowflake连接器。
正确部署Snowflake Connector的步骤
- 第一步:确认Snowflake连接器插件已正确放置
先检查connect-distributed.properties配置文件中的plugin.path配置项,将解压后的Snowflake连接器完整目录放到该配置对应的路径下,之后重启Kafka Connect进程。 - 第二步:通过REST API提交连接器配置
待Kafka Connect完全启动后,执行以下命令提交Snowflake连接器配置:
如果你修改过curl -X POST -H "Content-Type: application/json" --data @../config/snowflake-connector.json http://localhost:8083/connectorsconnect-distributed.properties中的rest.port配置,请将上述命令中的8083替换为你实际配置的端口。 - 第三步:验证连接器运行状态
执行以下命令查看连接器的运行状态,将<connector-name>替换为你在snowflake-connector.json中配置的name字段值即可:curl http://localhost:8083/connectors/<connector-name>/status
补充说明
日志中出现的Jersey相关警告是Kafka 2.8.0版本依赖的Jersey框架版本和内置REST资源注解不匹配导致的,不会影响连接器的正常运行,无需额外修复。
内容的提问来源于stack exchange,提问作者Austin Jackson
相关产品推荐
相关产品推荐

