本地Docker部署KSQLDB连接Upstash远程Kafka集群失败求助

问题根源 #

本地KSQLDB服务未正常启动，导致CLI连接primary-ksqldb-server:8088时出现连接拒绝错误。核心原因包括：

• Docker Compose中冗余的本地Kafka/Zookeeper/Schema Registry组件与远程集群配置冲突
• 环境变量（如KSQL_BOOTSTRAP_SERVERS）与挂载的ksql-server.properties配置重复，引发启动异常
• 缺少KSQL服务启动必需的核心配置项

修复步骤 #

1. 简化Docker Compose配置 #

移除无需使用的本地组件，仅保留KSQLDB服务和CLI。修改后的docker-compose.yml：

---
version: '2'
services:
  primary-ksqldb-server:
    image: ${KSQL_IMAGE_BASE}confluentinc/ksqldb-server:${KSQL_VERSION}
    hostname: primary-ksqldb-server
    container_name: primary-ksqldb-server
    ports:
      - "8088:8088"
    environment:
      KSQL_LISTENERS: http://0.0.0.0:8088
      KSQL_KSQL_LOGGING_PROCESSING_STREAM_AUTO_CREATE: "true"
      KSQL_KSQL_LOGGING_PROCESSING_TOPIC_AUTO_CREATE: "true"
      # 若Upstash未提供Schema Registry，直接禁用
      KSQL_KSQL_SCHEMA_REGISTRY_URL: ""
    volumes:
      - ./ksql-server.properties:/etc/ksqldb/ksql-server.properties

  ksqldb-cli:
    image: ${KSQL_IMAGE_BASE}confluentinc/ksqldb-cli:${KSQL_VERSION}
    container_name: ksqldb-cli
    depends_on:
      - primary-ksqldb-server
    entrypoint: /bin/sh
    tty: true

2. 完善KSQL配置文件 #

更新ksql-server.properties，补充KSQL核心配置，确保仅保留远程Kafka连接信息：

# Upstash Kafka连接参数
bootstrap.servers=sensible-condor-6169-us1-kafka.upstash.io:9092
sasl.mechanism=SCRAM-SHA-256
security.protocol=SASL_SSL
sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required \
  username="***" \
  password="***";

# KSQL服务核心配置
ksql.service.id=ksql_service_1
ksql.streams.state.dir=/tmp/kafka-streams
ksql.logging.processing.topic.auto.create=true
ksql.logging.processing.stream.auto.create=true

3. 重启服务并验证 #

• 清理旧容器与数据卷：

docker-compose down -v

• 启动新服务：

docker-compose up -d

• 查看KSQLDB启动日志，确认服务正常运行：

docker logs primary-ksqldb-server

日志中出现Server up and running字样即为启动成功。

4. 重新连接CLI #

执行以下命令进入KSQLDB CLI：

docker-compose exec ksqldb-cli ksql http://primary-ksqldb-server:8088

关键注意事项 #

• 避免环境变量与配置文件的属性冲突：KSQL优先读取KSQL_前缀的环境变量，若配置文件中已有对应属性，需删除环境变量中的重复项
• 若需使用Schema Registry，需确保其能连接到Upstash Kafka，否则必须禁用该配置
• 确认Upstash的用户名、密码正确，且本地网络可访问Upstash的Kafka端口（9092）

内容的提问来源于stack exchange，提问作者Ayyub