集群分布式Kafka Connector注册连Snowflake报错1001如何解决

根因定位 #

从日志返回的错误码1001以及连接超时提示可直接判定：核心问题是运行Kafka Connect服务的节点无法正常连通Snowflake服务端，其次存在少量参数配置格式错误。

分步修复操作 #

1. 优先修复网络连通问题 #

在Kafka Connect主节点上执行连通性测试命令：

curl -v https://XXXXXXXX.XXXXXXX-1.snowflakecomputing.com

• 如果测试返回超时，说明节点到Snowflake的443端口出口被阻断，需要联系运维将Snowflake的服务IP段加入服务器出口防火墙、VPC安全组的白名单；如果企业内网需走代理访问公网，需在后续配置中添加代理参数。
• 如果测试可以正常返回Snowflake的响应页，再排查后续参数问题。

2. 修正CURL注册请求的参数错误 #

原有请求存在两处格式问题：

• snowflake.url.name参数无需携带端口号，Snowflake JDBC会默认走443端口，携带端口可能导致识别异常，修改为：
  "snowflake.url.name": "XXXXXXXX.XXXXXXX-1.snowflakecomputing.com"
• value.converter:schemas.enable参数的分隔符错误，冒号需改为点，修改为：
  "value.converter.schemas.enable": "true"

3. 调整connect-distributed.properties配置 #

• 3节点集群场景下，config.storage.replication.factor、offset.storage.replication.factor、status.storage.replication.factor三个参数值建议从1改为3，避免单点故障导致连接器配置、偏移量丢失。
• 如果节点需走代理访问Snowflake，需在配置文件末尾添加代理参数：

  # HTTP代理配置，无代理可省略
  snowflake.jdbc.http.proxyHost=代理服务地址
  snowflake.jdbc.http.proxyPort=代理服务端口
  # 代理需认证的话添加以下两行，无需认证可省略
  snowflake.jdbc.http.proxyUser=代理用户名
  snowflake.jdbc.http.proxyPassword=代理密码
  

4. 验证Snowflake侧权限配置 #

确认以下配置正确：

• kafka_connector_user_1用户对应的私钥无多余换行、字符错误，且公钥已正确上传到Snowflake对应用户配置中
• 该用户已分配KAFKA_DB.KAFKA_SCHEMA的读写权限，以及目标表TestKafkaTable的建表、写入权限

验证生效 #

所有配置调整完成后重启Kafka Connect服务，重新执行修改后的CURL命令即可完成连接器注册。

内容的提问来源于stack exchange，提问作者Austin Jackson