启用ZooKeeper认证后Kafka启动报NoAuth错误求助

问题根源 #

启用Bitnami ZooKeeper的ZOO_ENABLE_AUTH: 'yes'并配置SASL/OAUTHBEARER认证后，Kafka启动抛出NoAuthException，核心原因有两点：

1. 匿名模式下创建的ZooKeeper节点（如/consumers）仅授予匿名用户权限，SASL认证的Kafka客户端无访问权限
2. Kafka的SASL/OAUTHBEARER配置与ZooKeeper的服务端配置不匹配

解决方案 #

1. 配置ZooKeeper的SASL/OAUTHBEARER参数 #

Bitnami ZooKeeper需设置以下环境变量：

ZOO_ENABLE_AUTH: 'yes'
ZOO_AUTH_PROVIDER: 'org.apache.zookeeper.server.auth.SASLAuthenticationProvider'
ZOO_SERVER_JAAS_CONF: |
  Server {
      org.apache.zookeeper.server.auth.OAuthBearerLoginModule required
      allowed_hosts="*";
  };

2. 配置Kafka的SASL/OAUTHBEARER客户端参数 #

创建Kafka的JAAS配置文件（如kafka_zk_jaas.conf）：

Client {
    org.apache.zookeeper.client.OAuthBearerLoginModule required
    token="YOUR_VALID_OAUTH_TOKEN";
};

启动Kafka时加载该配置：

KAFKA_OPTS="-Djava.security.auth.login.config=/path/to/kafka_zk_jaas.conf"

同时在Kafka配置文件中添加ZooKeeper认证相关参数：

zookeeper.connect=zk-host:2181
zookeeper.sasl.client=true
zookeeper.sasl.client.username=KAFKA_SASL_USERNAME
zookeeper.clientCnxnSocket=org.apache.zookeeper.ClientCnxnSocketNetty

3. 修复ZooKeeper节点ACL权限 #

使用zkCli登录ZooKeeper（需提前配置zkCli的SASL认证），为Kafka所需节点设置对应ACL：

# 登录zkCli（若需SASL认证，确保zkCli的JAAS配置正确）
zkCli.sh -server zk-host:2181

# 为Kafka需要的顶级节点设置ACL（替换为你的SASL用户名）
setAcl /consumers sasl:kafka-user:cdrwa
setAcl /brokers sasl:kafka-user:cdrwa
setAcl /config sasl:kafka-user:cdrwa
setAcl /admin sasl:kafka-user:cdrwa

内容的提问来源于stack exchange，提问作者Shantanu Mitra