使用KafkaProducer时KafkaMetric对象未回收导致应用内存不足

原因分析 #

• KafkaProducer默认启用JMX指标功能，每个生产者实例（对应自动生成的producer-xxx格式client-id）会在JmxMBeanServer中注册一组MBean，包括producer-metrics这类指标对象。
• 2.8.2版本的kafka-clients存在JMX MBean注销不彻底的已知问题：即便调用了close()方法，JmxReporter的注销逻辑可能未正确移除MBeanServer中的指标条目，导致KafkaMetric对象被JmxMBeanServer持有引用，无法被垃圾回收。
• 若close()方法未被可靠执行（比如发送流程中抛出异常，未进入finally块执行关闭逻辑），也会导致MBean未被注销，长期积累后占用大量堆内存。

解决方案 #

1. 复用KafkaProducer实例（最优方案） #

KafkaProducer是线程安全的，完全可以在多线程环境下复用单个实例，无需每次发送后关闭。这不仅从根源上避免了频繁创建/销毁生产者带来的JMX指标堆积问题，还能降低TCP连接、线程池创建等额外开销，提升消息发送性能。

2. 禁用JMX指标 #

如果不需要监控生产者运行指标，可以通过配置关闭JMX或禁用指标上报：

Properties props = new Properties();
props.put("bootstrap.servers", "your-kafka-brokers");
// 直接禁用JMX功能
props.put("jmx.enabled", "false");
// 或者禁用所有指标上报器
props.put("metrics.reporters", "");
KafkaProducer<String, String> producer = new KafkaProducer<>(props);

配置后，生产者实例不会向JmxMBeanServer注册任何指标对象，也就不会产生内存残留问题。

3. 确保close()方法可靠执行 #

如果业务场景必须每次发送后关闭生产者，一定要将close()放在finally块中，避免异常导致注销逻辑未触发：

KafkaProducer<String, String> producer = null;
try {
    producer = new KafkaProducer<>(props);
    // 执行消息发送逻辑
    producer.send(record).get();
} catch (Exception e) {
    // 异常处理逻辑
} finally {
    if (producer != null) {
        producer.close();
    }
}

4. 升级kafka-clients版本 #

2.8.2之后的kafka-clients版本（如2.8.3及以上补丁版本、3.x系列）修复了部分JMX注销的bug，升级后可解决MBean残留导致的内存问题。

内容的提问来源于stack exchange，提问作者Srinish