SpringBoot中使用@RetryableTopic启动时出现TOPIC_AUTHORIZATION_FAILED错误

核心原因 #

@RetryableTopic 会自动为目标主题生成对应的重试主题（格式通常是 <原主题名>-retry-<延迟级别>）、死信主题（<原主题名>-dlt），启动时应用会尝试获取这些自动生成主题的元数据，如果Kafka集群的权限控制（如ACL）没有给当前客户端账号分配这些主题的权限，就会抛出TOPIC_AUTHORIZATION_FAILED错误。

具体解决步骤 #

1. 确认自动生成的主题名称 #

默认情况下，Spring Kafka的@RetryableTopic生成的主题命名规则：

• 重试主题：{originalTopic}-retry-{attempt}（attempt对应重试延迟级别，比如固定5小时延迟对应一个重试级别）
• 死信主题：{originalTopic}-dlt

你也可以通过注解属性自定义命名，示例代码：

@RetryableTopic(
    retryTopicSuffix = "-custom-retry",
    dltTopicSuffix = "-custom-dlt"
)

2. 为客户端账号分配对应主题权限 #

联系Kafka集群管理员，给应用使用的Kafka账号分配以下权限：

• 原主题、自动生成的重试主题、死信主题的READ、WRITE权限
• 若开启了应用自动创建主题（spring.kafka.admin.auto-create-topics=true），还需分配CREATE权限

以kafka-acls.sh命令配置ACL为例：

# 分配读写权限
kafka-acls.sh --authorizer-properties zookeeper.connect=zk-host:2181 --add --allow-principal User:your-app-account --operation Read --operation Write --topic original-topic,original-topic-retry-0,original-topic-dlt

# 分配自动创建主题的权限
kafka-acls.sh --authorizer-properties zookeeper.connect=zk-host:2181 --add --allow-principal User:your-app-account --operation Create --topic original-topic-retry-*,original-topic-dlt

3. 核对应用Kafka账号配置 #

确保SpringBoot配置文件中配置的Kafka账号信息正确，且拥有上述权限：

spring:
  kafka:
    producer:
      properties:
        sasl.jaas.config: org.apache.kafka.common.security.plain.PlainLoginModule required username="your-app-account" password="your-app-pwd";
    consumer:
      properties:
        sasl.jaas.config: org.apache.kafka.common.security.plain.PlainLoginModule required username="your-app-account" password="your-app-pwd";

4. 验证权限配置 #

用命令行工具检查账号的ACL配置是否生效：

kafka-acls.sh --authorizer-properties zookeeper.connect=zk-host:2181 --list --allow-principal User:your-app-account

确认输出中包含对应主题的权限条目。

额外注意事项 #

• 若Kafka集群禁用自动创建主题（auto.create.topics.enable=false），需提前手动创建重试、死信主题，并分配对应权限。
• 保证重试主题的分区数、副本数与原主题一致，避免引发其他异常。

内容的提问来源于stack exchange，提问作者Lali