Kafka迁移时出现UNKNOWN_TOPIC_OR_PARTITION告警是否需要专门处理？

问题结论 #

默认配置下该警告无需特殊处理，不会引发内存泄漏，待Topic在Broker上创建完成后，监听器会自动恢复正常消费。

具体说明 #

• 你遇到的UNKNOWN_TOPIC_OR_PARTITION是Kafka Consumer客户端拉取元数据时的常规异常，Spring Kafka的监听容器已经内置了该类异常的处理逻辑：Consumer会按照配置的重试间隔周期性重新拉取元数据，每次请求的资源都会正常释放，不会出现内存堆积、资源泄漏的问题。
  对应错误日志原文为：

  Error while fetching metadata with correlation id 146 : {x-events-live=UNKNOWN_TOPIC_OR_PARTITION}

• 从你提供的监听器配置可以看到autoStartup = "false"，说明该监听器默认不会随应用启动自动运行，你也可以选择主动控制启动时机，避免无意义的警告输出：在应用中增加逻辑主动检测目标Topic是否存在，确认Topic创建完成后，再通过KafkaListenerEndpointRegistry手动启动对应监听器，示例代码如下：

  // 注入监听容器注册器
  @Autowired
  private lateinit var registry: KafkaListenerEndpointRegistry
  
  // 确认Topic存在后调用启动
  registry.getListenerContainer("id")?.start()
  

可选优化建议 #

如果嫌警告日志刷屏，可以做如下配置调整，不会影响正常的恢复逻辑：

• 调整日志级别：将org.apache.kafka.clients.NetworkClient类的日志级别调整为ERROR，过滤掉该类WARN级别的元数据异常日志
• 调整元数据拉取间隔：在Kafka Consumer配置中增大metadata.max.age.ms参数值，降低不存在Topic时的元数据拉取频率
• 注意配置日志滚动策略，避免过量的警告日志占满磁盘存储空间

内容的提问来源于stack exchange，提问作者shalama