如何通过Nginx端口转发实现Kafka通过80端口对外提供服务

1. 调整Kafka Broker配置（核心问题） #

Kafka客户端完成与bootstrap服务器的首次连接后，会从Broker获取advertised.listeners配置的地址进行后续通信，你当前配置返回的是localhost:9092，客户端拿到后仍会尝试访问9092端口，导致访问失败。
修改docker-compose中broker的环境变量：

environment:
  # 其他原有配置保留，仅修改以下两项
  KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:29092,PLAINTEXT_HOST://0.0.0.0:9092
  # 把<YOUR_PUBLIC_ADDRESS>替换为客户端实际访问Nginx的地址，可以是服务器公网IP、域名，本地测试填localhost
  KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://broker:29092,PLAINTEXT_HOST://<YOUR_PUBLIC_ADDRESS>:80

注：原有内部服务（Schema Registry、Connect等）仍使用broker:29092通信，不受外部访问配置影响。

2. 优化Nginx四层转发配置 #

你当前使用stream模块做TCP转发的逻辑是正确的，补充超时配置避免长连接断开：

worker_processes 3;
events { 
  worker_connections 1024; 
}
stream {
  upstream kafka {
    server broker:9092;
  }
  server {
    listen 80;
    proxy_pass kafka;
    proxy_connect_timeout 10s;
    proxy_timeout 300s; # 匹配Kafka客户端的连接超时配置
  }  
}

3. 调整客户端配置 #

Go语言机器代理的Kafka-Go客户端bootstrap servers配置为<YOUR_PUBLIC_ADDRESS>:80即可，无需其他改动。Python后端如果不需要走80端口，可保留原有localhost:9092配置。

验证方法 #

部署完成后可以用Kafka官方命令行工具验证连通性：

kafka-topics.sh --list --bootstrap-server <YOUR_PUBLIC_ADDRESS>:80

能正常返回Topic列表则配置生效。

内容的提问来源于stack exchange，提问作者AR7