Docker部署ELK+Kafka时Logstash无法连接Kafka消费数据求助

两个独立的配置错误共同导致Logstash无法消费Kafka数据：

• 容器网络隔离错位：当前compose配置仅给Logstash指定了elk自定义网络，Kafka、Zookeeper服务均未加入该网络，Logstash配置里写的bootstrap_servers => "localhost:9092"指向的是Logstash容器自身的回环地址，根本无法触达Kafka服务
• Kafka广播地址配置错误：当前Kafka对外暴露的PLAINTEXT_HOST监听广播地址写为kafka:9092，这个主机名仅能在docker容器网络内解析，本地物理机的生产端实际上无法通过该地址正常完成连接握手，和“生产端可正常生产”的状态存在配置逻辑矛盾

• 第一步：统一服务网络，消除容器通信隔离
  给zoo1、kafka两个服务块补充配置，将其加入和Logstash相同的elk自定义网络，确保docker网络内三个服务可以通过服务名互相解析访问。
• 第二步：修正Kafka双监听的广播地址逻辑
  按照两类客户端的访问场景拆分广播规则，替换原有的KAFKA_ADVERTISED_LISTENERS配置值：

  KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka:9093,PLAINTEXT_HOST://<运行Docker的物理机内网IP>:9092
  

  注意点：PLAINTEXT_HOST对应的广播地址必须替换为物理机的实际内网IP（例如192.168.3.45这类可被局域网设备解析的地址），不能写kafka这类仅容器内可识别的主机名，否则外部生产端连接后获取的Broker地址会完全无法路由。
• 第三步：调整Logstash的Kafka连接配置
  因为Logstash和Kafka处于同一容器网络，直接走Kafka的内部监听通道连接即可，替换原logstash.conf中的配置值：

  input {
      kafka {
          topics => ["topic-ex"]
          bootstrap_servers => "kafka:9093"
      }
  }
  

  不需要走宿主机的9092端口映射做转发，直接通过容器间内部通道连接稳定性更高、链路更短。
• 第四步：连通性校验
  • 进入Logstash容器执行nc -zv kafka 9093，确认可以正常连通Kafka的内部监听端口
  • 在本地物理机执行nc -zv <物理机内网IP> 9092，确认生产端到Kafka宿主机映射端口的连通性
  • 重启全量服务后观察Logstash日志，原有的“Connection to node -1”连接报错会消失，消费链路正常建立

• 禁止在容器内的服务配置中写localhost作为其他服务的连接地址：容器的回环地址仅指向自身进程空间，和宿主机、其他容器的回环地址完全隔离
• 不要混淆两类监听端口的用途：9093端口仅承担docker网络内部容器间的通信流量，9092端口通过宿主机映射承担所有外部物理机、非docker网络设备的接入流量，两类流量的广播地址不能混用

内容的提问来源于stack exchange，提问作者Goper