如何通过HTTPS反向代理访问受限端口的Kafka集群？

核心原理 #

Kafka基于自定义二进制协议通信，并非HTTP，因此需要使用支持TCP反向代理的工具（而非普通HTTP反向代理），同时调整Kafka的对外暴露地址配置，解决客户端获取内部broker地址无法访问的问题。

具体实现步骤 #

1. 选择并配置TCP反向代理

推荐使用Nginx（带stream模块）、HAProxy或Traefik，以下以Nginx为例：

• 确保Nginx编译时启用了stream模块，配置TCP监听443端口，通过**SNI（服务器名称指示）**路由到对应内部broker端口：

stream {
    # 根据SNI域名映射到内部broker
    map $ssl_preread_server_name $kafka_backend {
        kafka1.yourdomain.com kafka1:9092;
        kafka2.yourdomain.com kafka2:9094;
        kafka3.yourdomain.com kafka3:9096;
    }

    server {
        listen 443 ssl;
        # 配置你的SSL证书和密钥
        ssl_certificate /etc/nginx/ssl/yourdomain.crt;
        ssl_certificate_key /etc/nginx/ssl/yourdomain.key;
        # 启用SNI预读取，无需解密即可获取域名
        ssl_preread on;
        # 转发流量到对应broker
        proxy_pass $kafka_backend;
        # 调整超时参数适配Kafka长连接
        proxy_timeout 300s;
    }
}

2. 修改Kafka Broker配置

每个broker必须配置advertised.listeners，将对外暴露的地址设置为对应的公网代理域名+443端口，确保客户端获取的元数据是可访问的公网地址：

以kafka1为例，修改server.properties：

# 内部监听地址（集群间通信使用）
listeners=PLAINTEXT://kafka1:9092
# 对外暴露的地址（客户端将通过此地址连接）
advertised.listeners=SSL://kafka1.yourdomain.com:443
# 可选：配置SSL相关参数（如果需要加密客户端与代理之间的通信）
ssl.enabled.protocols=TLSv1.2,TLSv1.3
ssl.keystore.location=/path/to/keystore.jks
ssl.keystore.password=your-keystore-password

注意：如果内部集群通信不需要SSL，listeners用PLAINTEXT即可；客户端与代理之间的SSL由反向代理处理，Kafka内部可保持明文通信。

3. 客户端配置

客户端需要指定代理地址并启用SSL协议：

bootstrap.servers=kafka1.yourdomain.com:443,kafka2.yourdomain.com:443,kafka3.yourdomain.com:443
security.protocol=SSL
# 如果代理证书是自签名的，需要配置信任证书
ssl.truststore.location=/path/to/truststore.jks
ssl.truststore.password=your-truststore-password

关键注意事项 #

• 反向代理必须支持TCP转发和SNI路由，确保能根据域名区分不同broker的流量。
• advertised.listeners是核心配置，必须与代理的公网地址完全一致，否则客户端会尝试连接内部不可访问的端口。
• 调整代理的超时参数，适配Kafka的长连接特性，避免连接被过早断开。

内容的提问来源于stack exchange，提问作者Rikissssss