Spring Boot集成Kafka示例运行时出现Jackson JSON解析异常
异常产生原因
你遇到的JsonParseException核心是Kafka消息生产端的序列化格式和消费端的反序列化规则完全不匹配,结合你的项目配置和堆栈可以拆解为两个具体触发点:
- 堆栈中出现的
Unrecognized token 'ÿ'以及后续字节串里的contentType字段,是Java原生序列化字节流的典型特征(Java序列化魔数为0xACED,解码为字符就是开头的乱码),说明程序从Kafka主题拉取到的消息根本不是JSON格式,Jackson反序列化器自然会抛出解析失败的异常。 - 你的流处理代码没有显式绑定全链路的Serde(序列化/反序列化器),完全依赖Spring Cloud Stream的默认配置:从
process函数的map逻辑输出字符串、到groupBy计数输出Long类型消息的全链路,没有和下游消费端pageCount的反序列化规则打通;加上Kafka主题的消息持久化特性,之前测试阶段残留的非JSON格式旧消息被重复拉取,直接触发了解析报错。
对应解决方法
按优先级依次执行:
- 清理Kafka主题的残留脏消息
因为Kafka会从最早的offset开始拉取消息,就算后续配置调整正确,旧的非JSON消息还是会触发异常。在本地Kafka环境执行命令删除pvs、pcs两个测试主题即可:kafka-topics.sh --delete --topic pvs --bootstrap-server localhost:9092 kafka-topics.sh --delete --topic pcs --bootstrap-server localhost:9092 - 显式配置全链路序列化规则
在application.properties中补充各绑定的Serde配置,避免默认值导致的格式不匹配:# pageViewEventSupplier 输出链路配置(序列化PageViewEvent为JSON) spring.cloud.stream.bindings.pageViewEventSupplier-out-0.producer.value-serde=org.springframework.kafka.support.serializer.JsonSerializer # process 输入链路配置(反序列化PageViewEvent) spring.cloud.stream.bindings.process-in-0.consumer.value-serde=org.springframework.kafka.support.serializer.JsonDeserializer spring.cloud.stream.bindings.process-in-0.consumer.properties.spring.json.trusted.packages=* # process 输出链路配置(序列化Long类型计数结果为JSON) spring.cloud.stream.bindings.process-out-0.producer.value-serde=org.springframework.kafka.support.serializer.JsonSerializer spring.cloud.stream.bindings.process-out-0.producer.use-type-header=true # pageCount 输入链路配置(反序列化Long类型计数结果) spring.cloud.stream.bindings.pageCount-in-0.consumer.value-serde=org.springframework.kafka.support.serializer.JsonDeserializer spring.cloud.stream.bindings.pageCount-in-0.consumer.properties.spring.json.trusted.packages=* spring.cloud.stream.bindings.pageCount-in-0.consumer.use-type-header=true - 修正代码中的逻辑错误
你的pageViewEventSupplier中存在列表索引引用错误:原代码取随机用户名时错误用了pages列表做取值对象,却用names的长度算随机索引,存在数组越界风险,修改如下:// 原错误代码:String rName = pages.get(new Random().nextInt(names.size())); String rName = names.get(new Random().nextInt(names.size())); - 重启程序验证
上述步骤完成后重启Spring Boot应用,新产生的消息会按照统一的JSON格式序列化、传输、反序列化,不会再出现解析乱码的报错。
内容的提问来源于stack exchange,提问作者Jeff Cook
相关产品推荐
相关产品推荐

