Docker容器间FastAPI连接Kafka失败，求配置调整方案

问题场景 #

使用Docker Compose部署ZooKeeper、Kafka和FastAPI服务时，FastAPI容器尝试通过kafka:9092连接Kafka，出现以下错误：

fastapi_1 | %3|1667288143.941|FAIL|rdkafka#producer-1| [thrd:127.0.0.1:9092/1]: 127.0.0.1:9092/1: Connect to ipv4#127.0.0.1:9092 failed: Connection refused (after 0ms in state CONNECT, 1 identical error(s) suppressed)

但将FastAPI代码中的连接地址改为localhost:9092后，本地运行完全正常，推测是Kafka配置导致容器间无法正常通信。

解决方案 #

核心问题是Kafka的内部监听器端口与FastAPI连接的端口不匹配，以下是两种可行的修复方式：

方式1：修改FastAPI连接地址（推荐） #

Kafka配置中已经定义了供容器内部通信的INTERNAL监听器，地址为kafka:19092，直接修改FastAPI代码中的bootstrap.servers配置即可：

admin = AdminClient({'bootstrap.servers': 'kafka:19092'})
producer = Producer({'bootstrap.servers': 'kafka:19092'})

方式2：调整Kafka监听器配置（适配原有代码） #

如果希望保持FastAPI代码中的kafka:9092不变，可以修改Kafka的监听器和端口映射配置：

1. 更新Kafka的环境变量，将INTERNAL监听器的端口改为9092，同时调整外部访问的EXTERNAL监听器端口避免冲突：

   environment:
     KAFKA_ADVERTISED_LISTENERS: INTERNAL://kafka:9092,EXTERNAL://${DOCKER_HOST_IP:-127.0.0.1}:9093,DOCKER://host.docker.internal:29092
     # 其他环境变量保持不变
   

2. 调整Kafka的端口映射，将原外部9092端口改为9093：

   ports:
     - "9093:9093"
     - "29092:29092"
     - "9999:9999"
   

原因说明 #

Kafka通过**监听器（Listeners）**区分不同的通信场景：

• INTERNAL监听器：专为Docker容器间内部通信设计，绑定容器内部网络的端口（原配置为19092），其他容器通过服务名kafka加该端口访问。
• EXTERNAL监听器：供主机或外部设备访问，绑定主机映射的端口（原配置为9092），仅在主机侧生效，容器内部无法通过该端口连接Kafka。

原FastAPI代码使用kafka:9092，实际是尝试访问Kafka容器未监听的端口，因此出现连接拒绝错误。

内容的提问来源于stack exchange，提问作者Data Mastery