如何让Kafka与ZooKeeper配合Nginx工作？配置合理性咨询

你的配置目前无法实现Kafka/ZooKeeper的正常连接，核心问题在于误解了Nginx代理TCP服务的方式，以下是具体问题和修正方案：

存在的关键问题 #

• 协议不匹配：Kafka（9092端口）和ZooKeeper（2181端口）都是原生TCP协议服务，不是HTTP/HTTPS服务，但你用了HTTP代理的proxy_pass https://xxx，Nginx会把请求当作HTTP处理，后端服务根本无法识别。
• internal限制：location /kafka和/zoo加了internal指令，这意味着这些路径只能被Nginx内部请求调用，外部客户端完全无法访问，直接违背了你要对外提供服务的需求。
• 端口用途错误：你在HTTP的443 server块里配置TCP服务代理，443默认是HTTPS（HTTP over SSL）端口，要代理TCP服务得用Nginx的stream模块，而非HTTP模块。

正确的配置方向 #

要实现通过443端口代理Kafka和ZooKeeper，需要启用Nginx的stream模块（编译时需添加--with-stream参数），通过TCP代理+SSL终止的方式实现，示例配置如下：

# stream模块处理TCP代理，这是核心
stream {
    # 定义ZooKeeper后端
    upstream zoo {
        server 10.0.5.20:2181;
    }

    # 定义Kafka后端
    upstream kafka {
        server 10.0.5.20:9092;
    }

    # 监听443端口，处理ZooKeeper的SSL连接（通过SNI区分域名）
    server {
        listen 443 ssl;
        server_name zoo.same.sg;

        ssl_certificate /cert.crt;
        ssl_certificate_key /server.key;

        proxy_pass zoo;
    }

    # 监听同一443端口，处理Kafka的SSL连接（通过SNI区分域名）
    server {
        listen 443 ssl;
        server_name kafka.same.sg;

        ssl_certificate /cert.crt;
        ssl_certificate_key /server.key;

        proxy_pass kafka;
    }
}

# 保留原有的HTTP网站代理配置
http {
    upstream website {
        server 10.0.5.15:8755;
    }

    server {
        listen 80;
        server_name same.sg;
        location / {
            proxy_hide_header       Server;
            proxy_hide_header       X-Powered-By;
            proxy_hide_header       X-AspNet-Version;
            proxy_hide_header       Access-Control-Allow-Origin;
            proxy_set_header Host $http_host;
            proxy_set_header X-Real-Ip $remote_addr;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            proxy_pass http://website;
        }
    }
}

补充说明 #

• 如果你的客户端支持SNI，就可以用同一个443端口，通过不同域名（zoo.same.sg和kafka.same.sg）区分两个服务；如果不支持SNI，就得给Kafka和ZooKeeper分配不同的SSL端口（比如443给ZooKeeper，4443给Kafka）。
• Kafka客户端连接时，需要配置security.protocol=SSL，并指定地址为kafka.same.sg:443；ZooKeeper客户端同理，配置SSL连接指向zoo.same.sg:443。
• 确保后端的Kafka和ZooKeeper使用明文TCP通信即可（Nginx已完成SSL终止），如果后端也需要SSL，需调整stream模块的proxy_ssl相关参数。

内容的提问来源于stack exchange，提问作者Zay Lo