如何在GitLab CI中运行RedPanda Kafka容器以执行测试？

问题核心 #

你遇到的节点连接失败，根源是RedPanda的广告地址配置解析错误，以及缺少必要的RPC地址声明——GitLab CI的任务容器和服务容器处于同一内部网络，RedPanda需要明确告知客户端自己在这个网络里的可访问地址。

修复方案 #

1. 修正RedPanda启动命令 #

你的启动参数里把--advertise-kafka-addr和地址值写在同一个字符串里，会被RedPanda当成单个无效参数解析。必须拆分参数，同时补充RPC地址配置：

kafka_tests:
  extends: .java_e2e_template
  services:
  - name: vectorized/redpanda
    alias: kafka
    command: [
      "redpanda",
      "start",
      "--advertise-kafka-addr", "kafka:9092",
      "--advertise-rpc-addr", "kafka:9644",
      "--overprovisioned",
      "--smp", "1",
      "--memory", "1G",
      "--reserve-memory", "0M",
      "--node-id", "0"
    ]
  variables:
    MVN_PROPERTIES: "-Dkafka.bootstrap.servers=kafka:9092"

• 拆分--advertise-kafka-addr与kafka:9092为独立参数，确保RedPanda正确识别广告地址
• 添加--advertise-rpc-addr kafka:9644：RedPanda的节点通信、客户端元数据获取依赖RPC地址，必须和容器别名一致
• 补充资源限制参数：GitLab Runner资源有限，避免RedPanda因资源不足启动异常

2. 验证客户端代码 #

确保Java测试代码中仅配置kafka.bootstrap.servers=kafka:9092，不要硬编码其他节点地址——客户端会通过bootstrap地址自动拉取节点元数据。

3. 可选：添加健康检查 #

为RedPanda服务添加健康检查，确保容器完全就绪后再运行测试：

services:
  - name: vectorized/redpanda
    alias: kafka
    command: [
      "redpanda",
      "start",
      "--advertise-kafka-addr", "kafka:9092",
      "--advertise-rpc-addr", "kafka:9644",
      "--overprovisioned",
      "--smp", "1",
      "--memory", "1G",
      "--reserve-memory", "0M",
      "--node-id", "0"
    ]
    healthcheck:
      test: ["CMD", "rpk", "cluster", "info", "--brokers", "kafka:9092"]
      interval: 10s
      timeout: 5s
      retries: 5

原配置失效原因 #

• 参数格式错误：把--advertise-kafka-addr kafka:9092作为单个字符串传入，RedPanda无法识别“参数+值”的结构，导致广告地址未正确设置
• 缺少RPC地址：RedPanda默认RPC地址绑定容器内部IP，任务容器无法访问该地址获取节点元数据

内容的提问来源于stack exchange，提问作者KJQ