Kafka生产者DefaultPartitioner抛出NullPointerException的根因排查问询

我之前在生产环境排查过一模一样的问题，结合你给出的栈追踪信息，这个java.lang.NullPointerException出现在org.apache.kafka.clients.producer.internals.DefaultPartitioner.partition()第70行，核心原因都和Kafka主题元数据的获取/可用性有关，具体可以拆解为以下几种场景：

• 目标Topic的元数据未成功加载
  DefaultPartitioner在处理无key的消息时，会依赖Producer内部的Metadata组件获取该Topic的分区列表。如果Producer刚启动就立刻发送消息（还没完成和Broker的握手、元数据拉取），或者元数据刷新请求超时/失败，metadata.partitionsForTopic()会返回null，后续在计算分区时就会触发空指针。

• 指定的Topic名称不存在或拼写错误
  如果代码里写的Topic名称有误，或者这个Topic还没在Kafka集群上创建，Producer的Metadata组件无法找到对应的Topic信息，同样会导致获取分区列表时拿到null，进而抛出空指针。

• Producer配置或网络/权限问题导致元数据获取失败
  这类情况包括：

  • bootstrap.servers配置错误，生产者连不上任何Kafka Broker；
  • 网络防火墙/安全组限制，生产者和Broker之间的网络不通，元数据请求无法到达；
  • 生产者没有访问目标Topic的权限，Broker返回的元数据中不包含该Topic的信息。

• Producer实例已关闭后仍被复用
  如果已经调用了KafkaProducer.close()方法释放资源，再用这个实例发送消息，内部的Metadata等组件已经被销毁，此时计算分区就会触发空指针。

快速排查建议 #

1. 先确认Topic名称是否正确，且已在Kafka集群中创建；
2. 验证bootstrap.servers配置，尝试用kafka命令行工具（比如kafka-topics.sh）连接集群，确认网络可达；
3. 查看生产者日志，搜索"metadata"相关的报错，确认是否有元数据拉取失败的记录；
4. 检查代码中是否存在复用已关闭的Producer实例的情况。

内容的提问来源于stack exchange，提问作者vatsal mevada