You need to enable JavaScript to run this app. Windows环境Docker部署Spark+Kafka项目遇Kafka连接DNS解析失败问题
优惠活动
大模型
产品
解决方案
定价
更多

Windows环境Docker部署Spark+Kafka项目遇Kafka连接DNS解析失败问题

问题根因

从docker ps的输出能直接定位核心问题:

  1. docker-compose v2 默认的容器命名规则是{项目目录名}_{服务名}_序号,你的kafka、zookeeper容器名刚好是规则生成的kafka_1、zookeeper_1,说明这两个服务是compose正常启动的。
  2. 但test1、test2的容器名没有带compose的命名后缀,说明这两个容器是之前手动单独用docker run启动的孤立容器,根本没有加入compose默认创建的内部桥接网络。

这种情况下,test2容器内部当然没办法通过Docker内置的DNS解析kafka这个主机名——因为两个容器根本不在同一个二层网络里,DNS解析自然失败。

具体修复操作
  • 先停掉删除所有残留的孤立旧容器,避免新旧容器混跑:
    # 停止当前compose下的所有服务
    docker-compose down
    # 手动删除之前单独启动的test1、test2旧容器
    docker rm -f test1 test2
    
  • 修改docker-compose.yml,显式给所有服务绑定同一个自定义桥接网络,从根源上避免compose版本差异、网络自动发现失效的问题。修改后的完整配置参考:
version: '2'
# 新增自定义统一网络配置
networks:
  app-bridge:
    driver: bridge

services:
  test1:
    build: test1service/.
    depends_on:
      - kafka
    # 绑定到自定义网络
    networks:
      - app-bridge
  test2:
    build: test2/.
    depends_on:
      - kafka
      - test1
    # 绑定到自定义网络
    networks:
      - app-bridge
  zookeeper:
    image: confluentinc/cp-zookeeper:5.1.0
    ports:
     - 2181:2181
    environment:
      ZOOKEEPER_CLIENT_PORT: 2181
      ZOOKEEPER_TICK_TIME: 2000
    # 绑定到自定义网络
    networks:
      - app-bridge
  kafka:
    image: confluentinc/cp-kafka:5.1.0
    ports:
     - 9092:9092
    depends_on:
      - zookeeper
    environment:
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka:9092
      KAFKA_AUTO_CREATE_TOPICS_ENABLE: "true"
      KAFKA_DELETE_TOPIC_ENABLE: "true"
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
    # 绑定到自定义网络
    networks:
      - app-bridge
  • 重新启动整个compose项目:
docker-compose up -d --build
  • 启动完成后验证连通性:
    进入test2容器内部测试DNS解析:
docker exec -it <新生成的test2容器名> bash
nslookup kafka

只要能返回kafka容器在app-bridge网络下的内网IP,说明DNS解析已经恢复正常,再运行Spark消费代码就不会报之前的KafkaConsumer构造失败的错误。

补充说明:原配置里的extra_hosts: - "localhost: 127.0.0.1"是完全无效的冗余配置,Docker容器默认的回环地址就指向自身,这几行配置删掉对环境没有任何影响,也解决不了跨容器的DNS解析问题。

临时验证小技巧:如果绑定网络后还是解析失败,可以在test2容器的/etc/hosts里手动添加一行kafka容器内网IP kafka,如果加完之后任务能正常跑,就说明确实是网络层的DNS配置问题,不用动业务代码。

内容的提问来源于stack exchange,提问作者samrat1

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.30 18:27:05