Google Cloud部署的Kafka无法与Databricks连接问题咨询

按以下优先级逐层排查：

1. 网络层连通性校验（80%的同类问题出在这层） #

• 核对Kafka实例的advertised.listeners配置：确保配置中返回给客户端的broker地址，是Databricks侧可路由到的公网IP/私网域名，不要填仅Kafka集群内部可访问的127.0.0.1或私有网段地址，否则客户端拿到metadata后会路由到不可达地址触发报错。
• 检查防火墙与路由规则：
  • 如果是VPC私网互联场景，确认GCP VPC和Databricks所在VPC已经通过VPC对等连接、Cloud VPN或专线打通，两边路由表都添加了对端网段的路由规则；GCP防火墙入站规则要放通Databricks集群所在网段对Kafka所有broker节点服务端口（默认9092，自定义端口按实际配置）、KRaft/ZooKeeper控制器端口的访问，出站规则不要拦截对应响应流量。
  • 如果是公网访问场景，确认Kafka实例的公网访问白名单已经添加Databricks集群的出口公网IP段，安全组/防火墙没有拦截公网到Kafka端口的请求。
• 连通性快速验证：登录Databricks集群Driver节点的Web终端，执行nc -zv <kafka-broker-地址> <端口>逐个测试所有broker的TCP连通性，只要有一个broker端口不通，就会触发连接失败。

2. 认证与权限配置校验 #

• 确认两边安全协议匹配：如果Kafka侧开启了SASL_SSL、SSL等加密认证机制，Databricks侧连接参数必须对应匹配，包括SASL机制（SCRAM-SHA-256/PLAIN等）、账号密码、SSL证书信任配置；如果使用私有CA签发的服务端证书，需要将CA根证书上传到Databricks集群的信任存储，否则会因为证书校验失败断连。
• 检查Kafka侧ACL规则：确认连接使用的账号拥有集群描述权限、目标Topic的生产/消费权限，权限不足会被Kafka主动拒绝连接。

3. 配置与兼容性校验 #

• TCP连通、认证配置都正常的情况下，先在Databricks终端用Kafka自带的命令行工具做最小验证，排除业务代码配置错误：

  # 写入测试
  kafka-console-producer.sh --bootstrap-server <broker地址列表> --topic <测试topic名> --producer.config <认证配置文件路径>
  # 读取测试
  kafka-console-consumer.sh --bootstrap-server <broker地址列表> --topic <测试topic名> --from-beginning --consumer.config <认证配置文件路径>
  

• 如果命令行测试正常但作业连接失败，检查作业中Kafka连接参数是否存在拼写错误、端口填写错误，同时确认Databricks作业依赖的Kafka客户端版本和服务端版本差不超过1个大版本，避免版本不兼容导致的连接异常。
• 注意多broker场景下必须保证所有broker地址都能被Databricks侧访问，不能只放通单个节点，否则客户端拉取到metadata后访问其他broker时会直接断连。

内容的提问来源于stack exchange，提问作者frtarslan