Azure上私有Confluent Cloud Kafka数据馈送连接问题求助

问题描述 #

我已在Azure上基于私有链接搭建了Confluent Cloud集群，尝试通过Azure防火墙DNAT将9092端口转发到Kafka引导服务器以实现数据馈送，但遇到连接错误，提示地址不可达，且错误中显示的是不可路由的内部地址。

参考相关社区讨论后，不清楚在Confluent Cloud中何处及如何配置监听器——kubectl confluent cluster kafka listeners这个CLI命令在Confluent Cloud环境中无法使用，也找不到对应的配置文件进行设置。

核心原因 #

Confluent Cloud私有集群默认返回内部私有链接地址，当通过DNAT转发时，客户端收到的仍是该内部地址，无法路由到防火墙的转发地址，导致连接失败。这是因为Kafka引导服务器和Broker会将自身实际地址返回给客户端，而非转发后的地址。

解决方案 #

1. 改用公网监听器配合访问控制 #

Confluent Cloud不支持自行修改私有集群的监听器地址，可通过以下方式替代DNAT方案：

• 为集群添加公网监听器，在Confluent Cloud控制台的集群Networking选项卡中配置公网访问规则，仅允许你的客户端IP/目标Azure VNet范围访问。
• 配合Azure网络安全组（NSG）或防火墙规则，进一步限制公网监听器的访问源，确保安全性。

2. 确保客户端能直接路由到私有链接地址 #

若坚持使用私有链接：

• 客户端必须部署在与私有链接关联的Azure VNet内，或通过VPN/Express Route连接到该VNet，才能直接访问Kafka的内部私有地址，无需DNAT转发。

3. 使用正确的Confluent Cloud CLI命令查看监听器 #

kubectl confluent系列命令用于自托管Confluent Platform，Confluent Cloud的正确监听器查看命令为：

confluent kafka cluster describe <集群ID>

执行后可获取集群所有监听器（私有链接/公网）的详细信息。

4. 放弃DNAT方案 #

Azure防火墙DNAT无法修改Kafka协议返回的Broker地址，客户端会尝试直接连接Kafka的内部地址，而非通过防火墙转发，因此该场景下DNAT无法解决问题。

内容的提问来源于stack exchange，提问作者Kenneth- DE561380