Docker嵌套环境部署Kafka容器异常：可创建主题但无法生产消息

我在devcontainer（Docker容器）中运行Confluent Kafka 7.6.0容器，使用的Docker Compose配置如下：

kafka:
  image: confluentinc/cp-kafka:7.6.0
  container_name: kafka
  hostname: kafka
  extra_hosts:
    - host.docker.internal:host-gateway
  ports:
    - 29092
  environment:
    KAFKA_NODE_ID: 1
    #KAFKA_LISTENERS: INTERNAL://kafka:9092,EXTERNAL://:29092,CONTROLLER://kafka:9093
    KAFKA_LISTENERS: INTERNAL://:9092,EXTERNAL://:29092,CONTROLLER://kafka:9093
    KAFKA_ADVERTISED_LISTENERS: INTERNAL://:9092,EXTERNAL://:29092
    KAFKA_INTER_BROKER_LISTENER_NAME: INTERNAL
    KAFKA_CONTROLLER_LISTENER_NAMES: CONTROLLER
    KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: INTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT,CONTROLLER:PLAINTEXT,DOCKER:PLAINTEXT
    KAFKA_PROCESS_ROLES: controller,broker
    KAFKA_CONTROLLER_QUORUM_VOTERS: 1@kafka:9093
    ALLOW_PLAINTEXT_LISTENER: true
    KAFKA_LOG_DIRS: /var/lib/kafka/data
    CLUSTER_ID: MkU3OEVBNTcwNTJENDM2Qk
    KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
    KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS: 0
    KAFKA_TRANSACTION_STATE_LOG_MIN_ISR: 1
    KAFKA_TRANSACTION_STATE_LOG_REPLICATION_FACTOR: 1
    KAFKA_LOG4J_LOGGERS: org.apache.kafka.image.loader.MetadataLoader=WARN
  healthcheck:
    test:
      - "CMD-SHELL"
      - "cub kafka-ready -b kafka:9092 1 10"
    interval: 1s
    timeout: 10s
    retries: 10

执行docker ps可见容器正常运行，端口映射为0.0.0.0:32840->29092/tcp。初始用kcat -b host.docker.internal:32840 -L查看元数据显示0个主题；但执行生产命令时出现解析错误：

echo "a" | kcat -b host.docker.internal:32840 -P -t how-is-this-created

错误输出：

%3|1711129154.610|FAIL|rdkafka#producer-1| [thrd:kafka:29092/1]: kafka:29092/1: Failed to resolve 'kafka:29092': Name or service not known (after 1ms in state CONNECT)
% ERROR: Local: Host resolution failure: kafka:29092/1: Failed to resolve 'kafka:29092': Name or service not known (after 1ms in state CONNECT)

再次执行kcat -b host.docker.internal:32840 -L却能看到how-is-this-created主题已存在，且kafkajs也出现相同错误。

问题原因 #

• 核心问题是Kafka广告监听器（ADVERTISED_LISTENERS）配置错误。当前EXTERNAL://:29092的配置会让Kafka自动将地址解析为容器内部主机名kafka，当外部客户端（如devcontainer内的kcat）初始连接成功后，Kafka返回的broker地址是kafka:29092，但devcontainer无法解析这个主机名，导致后续连接失败。
• 主题能创建是因为创建请求通过初始连接已成功发送，只是后续客户端尝试连接Kafka返回的broker地址时失败。

解决方法 #

1. 修正ADVERTISED_LISTENERS配置
   根据访问场景调整EXTERNAL监听器的广告地址：

   • 若从devcontainer内部访问（同Docker网络）：设置为kafka:29092
   • 若从宿主机或外部环境访问：设置为host.docker.internal:32840（端口为宿主机映射后的端口，固定端口可写对应值）
     修正后的环境变量配置示例：

   KAFKA_ADVERTISED_LISTENERS: INTERNAL://kafka:9092,EXTERNAL://host.docker.internal:32840
   

2. 明确INTERNAL监听器地址
   建议把KAFKA_LISTENERS中的INTERNAL监听器指定为容器主机名，避免歧义：

   KAFKA_LISTENERS: INTERNAL://kafka:9092,EXTERNAL://:29092,CONTROLLER://kafka:9093
   

3. 重启容器并验证
   重启Kafka容器后，重新执行生产命令：

   echo "a" | kcat -b host.docker.internal:32840 -P -t test-topic
   

   此时应无解析错误，消息可正常发送。

内容的提问来源于stack exchange，提问作者eitaporra