Java消费Kafka时Message与Key被追加无效字符问题排查

可能关联的原因分析 #

Spring Kafka配置相关 #

• 生产者端序列化逻辑问题：如果消息是你的Java项目生产的，先检查生产者的KeySerializer和ValueSerializer实现。有没有在序列化时误把空格、!/#字符追加到了原始内容前？比如自定义序列化器的代码里多了拼接逻辑，或者近期切换了序列化器（比如从默认的StringSerializer换成了自定义实现），新逻辑存在bug。另外也要核对spring.kafka.producer下的配置参数，是否新增了会修改消息内容的配置项。
• 消费者端反序列化/转换问题：如果是消费解析时出现的异常，检查消费者的KeyDeserializer、ValueDeserializer，或者自定义的MessageConverter。有没有在反序列化过程中引入了额外字符？比如反序列化时错误地拼接了前缀，或者消息转换器的逻辑处理失误。

Kafka服务端相关 #

• Broker端拦截器/插件：确认Kafka集群近期是否新增了Broker拦截器（配置项interceptor.classes），有些拦截器会对消息内容做自定义修改，比如添加标识性前缀；或者启用了消息格式转换类的插件，导致消息被额外处理后带上了无效字符。
• 主题配置变更：查看目标主题的message.format.version是否有修改，版本不兼容可能导致反序列化时出现乱码或额外字符；另外主题的分区策略、权限配置变更后，是否有异常生产者接入该主题。
• 第三方生产者接入：如果该主题是多服务共享的，排查是否有其他服务近期开始往这个主题发消息。这些外部生产者的代码逻辑可能在Key/Value前主动添加了空格和!/#，导致你的消费者收到异常消息。

排查步骤 #

1. 确认原始消息状态：用Kafka命令行工具直接从Broker拉取消息，比如执行：

   kafka-console-consumer.sh --topic 你的主题名 --from-beginning --property print.key=true --bootstrap-server 你的Broker地址
   

   如果拉取到的消息本身就带空格和!/#，说明问题出在生产者或服务端；如果原始消息正常，那问题在消费者本地的反序列化或配置。
2. 核对配置/代码变更记录：检查Spring Kafka的配置文件（application.yml/application.properties）近期的修改，重点看序列化器、转换器、拦截器相关配置；同时核对生产者代码的变更，看序列化逻辑是否有调整。
3. 确认服务端变更：联系运维团队，确认Kafka Broker的配置、主题配置近期是否有修改，是否新增了插件或拦截器。

内容的提问来源于stack exchange，提问作者Sudip Subedi