Go中Gnomock+ClickHouse与Dockertest+Kafka集成测试网络问题

方案一：统一使用Dockertest启动所有服务 #

既然Gnomock不支持预定义网络，直接替换为Dockertest启动ClickHouse，就能和Kafka共享自定义网络：

• 先创建Dockertest自定义网络：

  pool, err := dockertest.NewPool("")
  if err != nil {
      log.Fatalf("Could not connect to docker: %s", err)
  }
  network, err := pool.Client.NetworkCreate(context.Background(), "test-network", types.NetworkCreate{
      Driver: "bridge",
      Name:   "test-network",
  })
  if err != nil {
      log.Fatalf("Could not create network: %s", err)
  }
  defer pool.Client.NetworkRemove(context.Background(), network.ID)
  

• 用Dockertest启动ZooKeeper和Kafka，配置加入上述网络并设置固定容器名（比如kafka），方便ClickHouse通过容器名访问
• 同样用Dockertest启动ClickHouse镜像，配置加入同一个网络，创建Kafka引擎表时，Kafka地址直接写kafka:9092即可

方案二：手动将Gnomock的ClickHouse容器加入Dockertest网络 #

保留现有工具组合，通过Docker API手动打通网络：

• 先用Dockertest创建自定义网络并启动Kafka服务
• 用Gnomock启动ClickHouse，获取容器ID：

  clickhouseContainer, err := gnomock.Start(gnomock.ClickHouse())
  if err != nil {
      log.Fatal(err)
  }
  containerID := clickhouseContainer.ID()
  

• 使用Go的Docker SDK将ClickHouse容器加入Dockertest创建的网络：

  dockerClient, err := client.NewClientWithOpts(client.FromEnv)
  if err != nil {
      log.Fatal(err)
  }
  err = dockerClient.NetworkConnect(context.Background(), "test-network", containerID, nil)
  if err != nil {
      log.Fatalf("Could not connect container to network: %s", err)
  }
  

• 完成配置后，ClickHouse即可通过Kafka容器名访问服务

方案三：使用主机网络模式（兼容性有限） #

将两个容器都配置为使用主机网络，共享宿主机网络栈：

• 启动Kafka时，Dockertest配置NetworkMode: "host"
• 启动ClickHouse时，给Gnomock添加gnomock.WithNetwork("host")选项
• 此时两个服务都可通过localhost访问，比如Kafka地址写localhost:9092
• 注意：该方案在Windows/Mac的Docker Desktop下兼容性较差，且需避免端口冲突

集成测试最佳实践 #

• 服务就绪检查：启动容器后不要立即执行测试，需等待Kafka Broker就绪、ClickHouse可连接，可通过轮询连接或健康检查接口实现
• 消费状态验证：生产数据后不要直接查询目标表，可通过ClickHouse的system.kafka_consumers表查看消费进度，或通过重试机制等待数据落地后再验证
• 资源清理：测试结束后确保所有容器、网络都被销毁，避免残留资源影响后续测试
• 固定容器名：给Kafka和ClickHouse容器设置固定名称，避免每次启动生成随机名，简化配置

内容的提问来源于stack exchange，提问作者MuGh