GitLab CI中部署Kafka as a Service的端口连接问题求助

核心原因 #

GitLab CI的K8s Runner环境中，每个service都是独立的K8s Pod，与测试Job Pod处于同一Namespace，不能用localhost访问服务，必须通过service的别名（或名称）作为主机名连接。另外Kafka的ADVERTISED_LISTENERS配置错误会导致客户端无法获取正确的连接地址。

步骤1：修正Schema Registry的连接配置 #

Schema Registry是HTTP服务，直接用service别名+端口访问即可：

• 在GitLab CI配置中给Schema Registry设置别名：

  services:
    - name: confluentinc/cp-schema-registry:latest
      alias: schema-registry
  

• Node应用中Schema Registry的地址配置为：schema-registry:8081

步骤2：正确配置Kafka的监听地址 #

Kafka的核心问题是KAFKA_CFG_ADVERTISED_LISTENERS必须匹配客户端能访问到的地址，具体配置如下：

1. GitLab CI的Kafka Service配置 #

services:
  - name: zookeeper:latest
    alias: zookeeper
  - name: confluentinc/cp-kafka:latest
    alias: kafka
    variables:
      KAFKA_CFG_ZOOKEEPER_CONNECT: zookeeper:2181
      KAFKA_CFG_LISTENERS: PLAINTEXT://0.0.0.0:9092
      KAFKA_CFG_ADVERTISED_LISTENERS: PLAINTEXT://kafka:9092
      KAFKA_CFG_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
      KAFKA_CFG_GROUP_INITIAL_REBALANCE_DELAY_MS: 0

• KAFKA_CFG_LISTENERS: 让Kafka监听容器内所有网络接口，确保能接收来自外部的连接
• KAFKA_CFG_ADVERTISED_LISTENERS: 告诉客户端用kafka这个主机名（即service别名）连接，这是K8s环境下Job Pod能解析到的地址
• KAFKA_CFG_OFFSETS_TOPIC_REPLICATION_FACTOR: 单节点Kafka必须设为1，否则启动失败
• KAFKA_CFG_GROUP_INITIAL_REBALANCE_DELAY_MS: 加速消费者组初始化，适合CI测试场景

2. Node应用的Kafka客户端配置 #

将bootstrap servers设置为：kafka:9092，不要用localhost或其他端口。示例：

const { Kafka } = require('kafkajs');

const kafka = new Kafka({
  clientId: 'test-app',
  brokers: ['kafka:9092']
});

步骤3：确保服务完全启动后再运行测试 #

CI中服务启动需要时间，直接跑测试可能遇到服务未就绪的问题，可添加等待脚本：

1. 在Job的before_script中安装wait-for-it（或用自定义脚本）：

   before_script:
     - apt-get update && apt-get install -y wait-for-it
     - wait-for-it kafka:9092 -t 60  # 等待Kafka就绪，超时60秒
     - wait-for-it schema-registry:8081 -t 60  # 等待Schema Registry就绪
   

额外排查点 #

• 确认K8s Runner的网络策略是否允许Job Pod与Service Pod之间的通信，默认情况下同一Namespace内是允许的
• 检查GitLab CI中service的别名是否正确，别名必须和配置中使用的主机名一致
• 查看Kafka容器日志，确认Advertised listeners配置是否生效，日志中会输出类似Advertised listeners: PLAINTEXT://kafka:9092的内容

内容的提问来源于stack exchange，提问作者Zillon