AWS MSK SASL/SCRAM公网集群消费Topic报未授权错误问题

TOPIC_AUTHORIZATION_FAILED说明客户端已经和集群建立连接、认证通过，但是操作权限校验未通过，你的配置存在几个明确问题，核心遗漏是SCRAM账号的ACL授权步骤：

• 配置文件引用笔误
  你创建的消费者配置文件名为config.properties，但执行消费命令时指定加载的配置文件是client.properties。如果没有手动将SASL配置同步到client.properties中，消费端不会加载认证配置，直接触发权限报错。将命令中的配置文件名改为实际创建的文件名即可：

./kafka-console-consumer.sh --bootstrap-server <MSK公网bootstrap地址> --topic <topicName> --from-beginning --consumer.config config.properties

• 核心遗漏：未给SCRAM用户配置ACL权限
  你在Secrets Manager中创建Secret并绑定集群后，仅完成了SCRAM认证账号的创建。MSK默认开启ACL校验，新建的SCRAM账号默认不持有任何Topic、消费组的操作权限，哪怕密码正确、连接认证成功，也无法执行生产、消费操作。
  需要使用kafka-acls.sh工具给对应账号授权，基础消费需要两个权限：指定Topic的读权限、对应消费组的读权限，授权命令参考：

# 授予指定Topic的读权限
./kafka-acls.sh --authorizer-properties zookeeper.connect=<MSK集群Zookeeper连接地址> --add --allow-principal User:<你的SCRAM用户名> --operation Read --topic <topicName>
# 授予消费组权限，否则无法加入消费组、提交消费位点
./kafka-acls.sh --authorizer-properties zookeeper.connect=<MSK集群Zookeeper连接地址> --add --allow-principal User:<你的SCRAM用户名> --operation Read --group console-consumer-*

如果仅做功能测试，可以直接给账号授予全权限，跳过细粒度权限配置：

./kafka-acls.sh --authorizer-properties zookeeper.connect=<MSK集群Zookeeper连接地址> --add --allow-principal User:<你的SCRAM用户名> --operation All --topic '*' --group '*'

• 公网访问补充配置
  公网接入MSK时，建议在config.properties中补充SSL信任库配置，避免部分JDK环境因证书信任问题出现连接异常，追加两行配置即可：

ssl.truststore.location=/usr/lib/jvm/jre/lib/security/cacerts
ssl.truststore.password=changeit

验证注意事项 #

• 执行消费命令前，先确认当前shell会话已正确设置KAFKA_OPTS环境变量，否则JAAS配置不会生效
• 你提到“推测已成功向MSK集群生产消息”，需要先确认生产时使用的是同一个SCRAM账号，避免生产时误用其他有权限的账号，误导问题定位
• 授权完成后重新执行消费命令即可正常读取消息

内容的提问来源于stack exchange，提问作者Vivere