Docker Swarm部署Kafka如何为broker分配唯一固定主机名避免重启变更

问题根因 #

当前报错的核心原因有两个：

1. Docker Swarm集群默认不会将宿主机的hostname同步到容器内部的DNS解析表，跨节点的Kafka容器无法识别worker1这类宿主机主机名
2. 你配置的KAFKA_LISTENERS中INSIDE监听器绑定了localhost:9092，仅允许容器本地进程访问，跨节点的请求根本无法到达该端口

可行实现方案 #

方案一：使用宿主机IP作为广播地址（改造成本最低） #

直接用Docker Swarm内置的{{.Node.HostIP}}模板变量替代主机名，同时修正监听器绑定规则，修改后的Kafka服务配置如下：

version: '3.7'

# 先创建专属overlay网络保证跨节点容器连通
networks:
  kafka-net:
    driver: overlay
    attachable: true

services:
  zookeeper:
    image: wurstmeister/zookeeper
    ports:
      - "2181:2181"
    networks:
      - kafka-net

  kafka:
    image: wurstmeister/kafka:2.12-2.5.0
    hostname: "{{.Node.Hostname}}"
    deploy:
      mode: global
    networks:
      - kafka-net
    ports:
      - 9092:9092
      - 9094:9094
    environment:
      # 让ZK自动分配唯一Broker ID，避免自定义命令的兼容性问题
      KAFKA_BROKER_ID: -1
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: INSIDE:PLAINTEXT,OUTSIDE:PLAINTEXT
      # 修正监听地址为0.0.0.0，允许外部请求接入
      KAFKA_LISTENERS: INSIDE://0.0.0.0:9092,OUTSIDE://0.0.0.0:9094
      # 用宿主机IP作为广播地址，不需要hostname解析
      KAFKA_ADVERTISED_LISTENERS: INSIDE://{{.Node.HostIP}}:9092,OUTSIDE://{{.Node.HostIP}}:9094
      KAFKA_INTER_BROKER_LISTENER_NAME: INSIDE
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
    # 如果必须保留主机名解析，可添加所有集群节点的映射，不需要用IP的话可以删掉这部分
    extra_hosts:
      - "worker1:192.168.x.10" # 替换为你worker1的实际IP
      - "worker2:192.168.x.11" # 替换为你worker2的实际IP

  web-socket-service:
    image: 'my_hub/web_socket_service'
    deploy:
      replicas: 2
    networks:
      - kafka-net
    environment:
      # 同样改为主机IP
      BOOTSTRAP_SERVER: '{{.Node.HostIP}}:9092'

方案二：使用Swarm overlay网络DNS解析（更安全） #

如果不希望Kafka端口暴露到宿主机网络，可以为每个Kafka容器配置固定网络别名，Swarm自带的DNS会自动解析这些别名：

• 将KAFKA_ADVERTISED_LISTENERS的INSIDE地址改为kafka-{{.Node.ID}}:9092
• 为Kafka服务添加hostname: kafka-{{.Node.ID}}配置
• 所有依赖Kafka的服务都加入同一个overlay网络，即可直接通过别名访问，不需要额外配置解析

注意事项 #

• 部署前确认集群节点之间9092、9094、2181端口互通，防火墙没有拦截
• 如果你之前已经启动过Kafka，ZK中已经存了旧的Broker地址信息，需要先清空ZK的Kafka元数据再重新部署，避免残留配置导致报错

内容的提问来源于stack exchange，提问作者George