微服务发布后出现Kafka Streams NullPointerException（RecordHeader.key）求助

问题场景 #

自上次发布后，微服务中的Kafka Streams客户端触发自动关闭，异常日志存在省略号导致无法完整定位问题。已知Kafka记录的key允许为null（此时会通过RoundRobinStrategy分配分区），目前无法确定异常根源。

异常日志 #

{"@timestamp":"2023-02-21 15:58:16.947","@version":"1","message":"stream-client [Servicename-954725e4-a291-4fce-8f7e-77f8b5eeab6b] Encountered the following exception during processing and Kafka Streams opted to SHUTDOWN_CLIENT. The streams client is going to shut down now. ","logger":"org.apache.kafka.streams.KafkaStreams","thread":"Servicename-954725e4-a291-4fce-8f7e-77f8b5eeab6b-StreamThread-5","level":"ERROR","stacktrace":"org.apache.kafka.streams.errors.StreamsException: Exception caught in process. taskId=0_16, processor=KSTREAM-SOURCE-0000000000, topic=my-topic-name, partition=16, offset=263041154, stacktrace=java.lang.NullPointerException\n\tat org.apache.kafka.common.header.internals.RecordHeader.key(RecordHeader.java:45)\n\tat org.springframework.cloud.stream.binder.kafka.streams.AbstractKafkaStreamsBinderProcessor.lambda$null$6(AbstractKafkaStreamsBinderProcessor.java:498)\n\tat java.base/java.lang.Iterable.forEach(Iterable.java:75)\n\tat org.springframework.cloud.st..."}

核心问题分析 #

你混淆了Kafka记录的key和消息头的key：

• 异常栈清晰显示空指针发生在RecordHeader.key()方法，说明是处理消息头时，某个RecordHeader实例的key为null，调用该方法触发NPE。
• Spring Cloud Stream的Kafka Streams binder在遍历消息头时，尝试获取每个头的key，但存在一个头的key是null，导致抛出异常，最终触发Kafka Streams客户端关闭。

注意：Kafka记录的key允许为null，但Kafka的消息头不允许key为null——根据RecordHeader的实现，构造时传入null作为key不会立刻报错，但后续调用key()方法（比如binder的处理逻辑）会直接抛出空指针。

解决步骤 #

• 排查生产者代码：检查向my-topic-name发送消息的生产者，是否存在构造RecordHeader时传入null作为key的情况，比如：

  // 错误示例：header key为null
  record.headers().add(null, "value".getBytes());
  

  修正为传入非null的合法头key。
• 消费端过滤异常头：如果暂时无法修改生产者，可以在Kafka Streams消费逻辑中添加前置处理，遍历消息头并移除key为null的条目，避免触发NPE。
• 检查组件版本：如果是Spring Cloud Stream Kafka binder的版本bug导致的逻辑疏漏，可以尝试降级到稳定版本（比如排查同版本是否有类似问题的官方修复记录）。

内容的提问来源于stack exchange，提问作者Andy