Kafka SCRAM认证失败求助：Docker-Compose集成测试场景

核心原因分析 #

你的认证失败主要源于Broker端未正确配置SCRAM用户验证机制，同时客户端缺少必要的SSL配置，具体问题点如下：

1. Broker端JAAS配置缺失SCRAM验证段 #

当前kafka_jaas.conf仅配置了KafkaClient（供Broker作为客户端连接其他服务使用），但缺少KafkaServer段——这是Broker用于验证客户端SCRAM凭证的核心配置。Broker无法识别客户端提交的用户名和密码，直接导致认证失败。

修正后的kafka_jaas.conf：

# Broker端SCRAM验证配置
KafkaServer {
    org.apache.kafka.common.security.scram.ScramLoginModule required
    # Broker内部操作使用的用户（可自定义）
    username="admin"
    password="admin-secret"
    # 格式为user_<客户端用户名>=<客户端密码>，用于验证客户端凭证
    user_user="password";
};

# Broker作为客户端连接时的配置（如连接ZooKeeper）
KafkaClient {
    org.apache.kafka.common.security.scram.ScramLoginModule required
    username="admin"
    password="admin-secret";
};

Client{};

2. 未初始化SCRAM用户凭证 #

SCRAM认证要求Broker预先存储用户的哈希凭证，不能直接使用明文密码。需要进入Kafka容器执行初始化命令：

# 进入Kafka容器
docker exec -it <你的kafka容器名> /bin/bash

# 初始化SCRAM用户（使用Broker内部listener 9093）
kafka-configs.sh --bootstrap-server localhost:9093 --alter --add-config 'SCRAM-SHA-512=[password=password]' --entity-type users --entity-name user

3. Spring客户端缺少SSL配置 #

你的Broker的CLIENT listener配置为SASL_SSL，但Spring配置仅指定了SASL参数，未配置SSL信任证书，导致客户端无法完成SSL握手，间接引发认证失败。

修正后的Spring配置：

spring:
  kafka:
    bootstrap-servers: localhost:9092
    properties:
      sasl:
        mechanism: SCRAM-SHA-512
        jaas:
          config: org.apache.kafka.common.security.scram.ScramLoginModule required username='user' password='password';
      security:
        protocol: SASL_SSL
      ssl:
        # 路径需与你的证书存放位置匹配
        trust-store-location: classpath:certs/tst/kafka.truststore.jks
        trust-store-password: password.1

4. Broker配置冗余/错误优化 #

Docker Compose中的部分参数属于客户端配置，Broker无需设置，可移除或修正：

• 移除KAFKA_CFG_SECURITY_PROTOCOL：Broker通过listener.security.protocol.map配置监听协议即可
• 移除SECURITY_INTER_BROKER_PROTOCOL：已通过KAFKA_CFG_INTER_BROKER_LISTENER_NAME=INTERNAL和INTERNAL:PLAINTEXT定义Broker间通信协议
• 若不需要双向SSL认证，可将KAFKA_SSL_CLIENT_AUTH=required改为requested或移除，避免强制要求客户端提供证书

内容的提问来源于stack exchange，提问作者yaw