Kafka生产者报NotEnoughReplicasException异常求助

核心问题分析 #

你遇到的NotEnoughReplicasException是因为生产者设置acks=all时，当前主题的ISR（同步副本）数量低于min.insync.replicas要求，导致消息无法被确认。第三次发送成功是因为重试过程中ISR数量恢复到了符合要求的水平，但参数调整未解决问题，说明需要从配置一致性、副本状态、重试策略等维度排查。

排查与解决步骤 #

1. 确认业务主题的实际副本配置 #

你当前配置的spring.kafka.streams.replication-factor是针对Kafka Streams状态存储的副本数，业务消息主题的副本数需要单独设置：

• 使用Kafka命令行工具检查主题配置：

  kafka-topics.sh --describe --topic <你的主题名> --bootstrap-server <broker地址>
  

• 确保主题的ReplicationFactor为3，且Configs中的min.insync.replicas为2（若主题级配置覆盖全局配置，以主题配置为准）。
• 若主题副本数不符合要求，重新创建主题或使用kafka-reassign-partitions.sh调整副本分配。

2. 检查Broker副本同步状态与ISR波动 #

ISR数量临时不足通常是因为副本同步延迟被踢出ISR，之后又重新加入：

• 查看Broker日志（server.log），搜索ReplicaFetcherThread或ISR相关内容，确认是否存在副本同步延迟、Leader选举频繁的情况。
• 持续监控主题的ISR变化：

  watch -n 1 "kafka-topics.sh --describe --topic <你的主题名> --bootstrap-server <broker地址> | grep ISR"
  

• 检查Broker的资源使用情况（CPU、内存、磁盘IO），资源瓶颈会导致副本同步缓慢，进而被踢出ISR。比如磁盘IO过高会影响日志同步，需优化存储或扩容。

3. 调整生产者重试策略 #

你设置了retries=2，第三次成功是触发了重试，但默认重试间隔（retry.backoff.ms）为100ms，可能不足以让副本重新加入ISR：

• 在生产者配置中增加重试间隔：

  spring:
    kafka:
      producer:
        properties:
          retry.backoff.ms: 1000  # 调整为1秒，给副本足够同步时间
  

• 同时确保request.timeout.ms大于retry.backoff.ms * retries，避免重试过程中请求超时。

4. 验证min.insync.replicas配置层级 #

你将min.insync.replicas放在spring.kafka.properties下是全局配置，但主题级别的配置优先级更高：

• 检查主题的min.insync.replicas配置：

  kafka-configs.sh --describe --topic <你的主题名> --bootstrap-server <broker地址>
  

• 若主题有单独的min.insync.replicas配置，确保其值不超过副本数减1（比如副本数3时，最大值为2，避免Leader故障后无法满足要求）。

5. 检查Broker的unclean leader选举配置 #

如果unclean.leader.election.enable设为false（默认值），当ISR不足时无法选举非ISR副本为Leader，会导致生产者报错。但不建议直接开启该参数（会导致数据丢失），优先解决副本同步问题：

• 查看Broker配置：

  kafka-configs.sh --describe --entity-type brokers --entity-name <broker-id> --bootstrap-server <broker地址> | grep unclean.leader.election.enable
  

• 若必须临时恢复服务，可临时开启，但后续必须修复副本同步问题后改回false。

内容的提问来源于stack exchange，提问作者Turxan Dünya