如何在Travis CI构建任务中配置本地Apache Kafka实例？

Hey there! 针对你要在每个Travis构建任务里部署独立本地Kafka实例的需求，我整理了两个最实用的方案，都是在实际项目里验证过的：

方案一：直接安装Kafka二进制包（无Docker依赖） #

这个方案适合不想折腾容器的场景，直接用官方二进制包部署，步骤清晰可控：

1. 确保Java环境就绪
   Kafka依赖Java，Travis默认提供多种JDK版本，你可以在.travis.yml里指定需要的版本，比如：

   language: java
   jdk: openjdk11
   

2. 下载并解压Kafka
   在Travis的before_install或install阶段添加脚本，下载对应版本的Kafka包并解压：

   KAFKA_VERSION="2.8.1"
   SCALA_VERSION="2.13"
   wget https://archive.apache.org/dist/kafka/${KAFKA_VERSION}/kafka_${SCALA_VERSION}-${KAFKA_VERSION}.tgz
   tar -xzf kafka_${SCALA_VERSION}-${KAFKA_VERSION}.tgz
   cd kafka_${SCALA_VERSION}-${KAFKA_VERSION}
   

3. 启动依赖服务（ZK或KRaft）

   • 传统模式（依赖ZooKeeper）：后台启动ZK服务

     bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
     

   • KRaft模式（Kafka 2.8+支持，无需ZK）：先初始化集群再启动Kafka

     # 生成唯一集群ID
     KAFKA_CLUSTER_ID=$(bin/kafka-storage.sh random-uuid)
     # 初始化存储目录
     bin/kafka-storage.sh format -t $KAFKA_CLUSTER_ID -c config/kraft/server.properties
     # 后台启动Kafka
     bin/kafka-server-start.sh -daemon config/kraft/server.properties
     

4. 启动Kafka（传统模式）
   如果用ZK模式，修改Kafka配置确保绑定本地地址，避免外部访问问题：

   sed -i 's/listeners=PLAINTEXT:\/\/:9092/listeners=PLAINTEXT:\/\/localhost:9092/' config/server.properties
   bin/kafka-server-start.sh -daemon config/server.properties
   

5. 等待服务就绪
   添加一段等待逻辑，确保Kafka完全启动后再执行测试：

   # 简单等待，或者用更可靠的端口检查
   sleep 10
   while ! nc -z localhost 9092; do sleep 1; done
   

方案二：使用Docker Compose（更简洁高效） #

如果你的项目已经适配容器，这个方案更省心，一键就能拉起ZK+Kafka服务：

1. 启用Travis的Docker服务
   在.travis.yml里开启Docker支持，并安装docker-compose：

   services:
     - docker
   before_install:
     - sudo curl -L "https://github.com/docker/compose/releases/download/v2.2.3/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
     - sudo chmod +x /usr/local/bin/docker-compose
   

2. 编写docker-compose.yml配置文件
   在项目根目录创建这个文件，重点配置Kafka的ADVERTISED_LISTENERS为localhost，确保本地测试能正常连接：

   version: '3'
   services:
     zookeeper:
       image: confluentinc/cp-zookeeper:7.0.1
       environment:
         ZOOKEEPER_CLIENT_PORT: 2181
         ZOOKEEPER_TICK_TIME: 2000
     kafka:
       image: confluentinc/cp-kafka:7.0.1
       depends_on:
         - zookeeper
       ports:
         - "9092:9092"
       environment:
         KAFKA_BROKER_ID: 1
         KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
         KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9092
         KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
   

3. 启动服务并验证
   在Travis的脚本阶段启动服务，并确认Kafka可用：

   docker-compose up -d
   # 等待服务启动完成
   sleep 15
   # 可选：验证Kafka是否正常运行
   docker-compose exec kafka kafka-topics.sh --list --bootstrap-server localhost:9092
   

关键注意事项 #

• 隔离性保障：每个Travis构建任务运行在独立的虚拟机中，完全不用担心多个任务之间的端口冲突，默认9092端口直接用就行。
• 缓存优化：可以把Kafka二进制包或Docker镜像加入Travis缓存，减少每次构建的下载时间，比如在.travis.yml里添加：

  cache:
    directories:
      - $HOME/kafka
  

• 版本选择：尽量选择稳定的Kafka版本，避免太新的版本可能带来的兼容性问题。

内容的提问来源于stack exchange，提问作者Sahan Maldeniya