部署Kafka 3.3遇传统集群配置错误，请求排查

问题分析 #

从日志和配置来看，报错核心是Kafka配置被识别为传统ZooKeeper集群模式，但当前尝试以KRaft模式格式化存储目录，冲突点主要来自以下方面：

• 同时配置了KRaft模式的KAFKA_CFG_NODE_ID和ZooKeeper模式的KAFKA_CFG_BROKER_ID，新版本镜像对模式校验更严格，不再允许混合配置
• 未显式指定KAFKA_KRAFT_CLUSTER_ID，自动生成的ID可能与旧存储数据（若存在）不兼容
• 部分KRaft核心配置格式可能不正确（如KAFKA_CFG_CONTROLLER_QUORUM_VOTERS）

修复步骤 #

1. 移除ZooKeeper模式专属配置 #

删除KAFKA_CFG_BROKER_ID环境变量，KRaft模式下仅需KAFKA_CFG_NODE_ID标识节点。

2. 显式设置KRAFT集群ID #

先通过本地执行kafka-storage.sh random-uuid生成固定集群ID，然后添加环境变量：

- name: KAFKA_KRAFT_CLUSTER_ID
  value: "your-generated-uuid"

显式设置可避免自动生成ID带来的兼容性问题，适配镜像更新后的行为变化。

3. 确保Process Roles配置正确 #

单节点部署时，KAFKA_CFG_PROCESS_ROLES必须同时包含broker和controller：

- name: KAFKA_CFG_PROCESS_ROLES
  value: "broker,controller"

4. 修正Controller Quorum Voters格式 #

单节点场景下，KAFKA_CFG_CONTROLLER_QUORUM_VOTERS格式应为node-id@controller-listener-address:9093，例如：

- name: KAFKA_CFG_CONTROLLER_QUORUM_VOTERS
  value: "1@kafka-controller:9093"

需与KAFKA_CFG_LISTENERS中定义的controller监听器地址匹配。

5. 清理旧存储（若有） #

如果之前部署过ZooKeeper模式的Kafka，对应的PVC中会残留传统模式数据，需删除PVC后重新部署，避免格式化冲突。

修正后的Deployment配置示例 #

apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    name: kafka-deployment
  name: kafka
spec:
  replicas: 1
  selector:
    matchLabels:
      app: kafka
  template:
    metadata:
      labels:
        app: kafka
    spec:
      containers:
        - env:
            - name: ALLOW_PLAINTEXT_LISTENER
              value: "yes"
            - name: KAFKA_CFG_AUTO_CREATE_TOPICS_ENABLE
              value: "true"
            - name: KAFKA_CFG_NODE_ID
              value: "1"
            - name: KAFKA_KRAFT_CLUSTER_ID
              value: "your-generated-uuid"
            - name: KAFKA_CFG_CONTROLLER_QUORUM_VOTERS
              value: "1@kafka-controller:9093"
            - name: KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP
              value: "CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT,EXTERNAL:PLAINTEXT"
            - name: KAFKA_CFG_CONTROLLER_LISTENER_NAMES
              value: "CONTROLLER"
            - name: KAFKA_INTER_BROKER_LISTENER_NAME
              value: "PLAINTEXT"
            - name: KAFKA_CFG_PROCESS_ROLES
              value: "broker,controller"
            - name: KAFKA_CFG_LISTENERS
              value: "CONTROLLER://:9093,PLAINTEXT://:9092,EXTERNAL://:9094"
            - name: KAFKA_CFG_ADVERTISED_LISTENERS
              value: "PLAINTEXT://kafka:9092,EXTERNAL://localhost:9094"
          image: bitnami/kafka:3.3

为什么之前能运行？ #

旧版本Bitnami Kafka镜像对KRaft模式的配置校验较为宽松，允许同时存在broker.id和node.id，但新版本镜像严格区分了ZooKeeper与KRaft模式的配置规则，因此之前的兼容配置现在触发了错误。

内容的提问来源于stack exchange，提问作者X T