Windows环境Docker部署Spark+Kafka项目遇Kafka连接DNS解析失败问题
问题根因
从docker ps的输出能直接定位核心问题:
- docker-compose v2 默认的容器命名规则是
{项目目录名}_{服务名}_序号,你的kafka、zookeeper容器名刚好是规则生成的kafka_1、zookeeper_1,说明这两个服务是compose正常启动的。 - 但test1、test2的容器名没有带compose的命名后缀,说明这两个容器是之前手动单独用
docker run启动的孤立容器,根本没有加入compose默认创建的内部桥接网络。
这种情况下,test2容器内部当然没办法通过Docker内置的DNS解析kafka这个主机名——因为两个容器根本不在同一个二层网络里,DNS解析自然失败。
具体修复操作
- 先停掉删除所有残留的孤立旧容器,避免新旧容器混跑:
# 停止当前compose下的所有服务 docker-compose down # 手动删除之前单独启动的test1、test2旧容器 docker rm -f test1 test2 - 修改docker-compose.yml,显式给所有服务绑定同一个自定义桥接网络,从根源上避免compose版本差异、网络自动发现失效的问题。修改后的完整配置参考:
version: '2' # 新增自定义统一网络配置 networks: app-bridge: driver: bridge services: test1: build: test1service/. depends_on: - kafka # 绑定到自定义网络 networks: - app-bridge test2: build: test2/. depends_on: - kafka - test1 # 绑定到自定义网络 networks: - app-bridge zookeeper: image: confluentinc/cp-zookeeper:5.1.0 ports: - 2181:2181 environment: ZOOKEEPER_CLIENT_PORT: 2181 ZOOKEEPER_TICK_TIME: 2000 # 绑定到自定义网络 networks: - app-bridge kafka: image: confluentinc/cp-kafka:5.1.0 ports: - 9092:9092 depends_on: - zookeeper environment: KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181 KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka:9092 KAFKA_AUTO_CREATE_TOPICS_ENABLE: "true" KAFKA_DELETE_TOPIC_ENABLE: "true" KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1 # 绑定到自定义网络 networks: - app-bridge
- 重新启动整个compose项目:
docker-compose up -d --build
- 启动完成后验证连通性:
进入test2容器内部测试DNS解析:
docker exec -it <新生成的test2容器名> bash nslookup kafka
只要能返回kafka容器在app-bridge网络下的内网IP,说明DNS解析已经恢复正常,再运行Spark消费代码就不会报之前的KafkaConsumer构造失败的错误。
补充说明:原配置里的
extra_hosts: - "localhost: 127.0.0.1"是完全无效的冗余配置,Docker容器默认的回环地址就指向自身,这几行配置删掉对环境没有任何影响,也解决不了跨容器的DNS解析问题。临时验证小技巧:如果绑定网络后还是解析失败,可以在test2容器的
/etc/hosts里手动添加一行kafka容器内网IP kafka,如果加完之后任务能正常跑,就说明确实是网络层的DNS配置问题,不用动业务代码。
内容的提问来源于stack exchange,提问作者samrat1
相关产品推荐
相关产品推荐

