Kafka控制台消费图片正常但Java程序消费后损坏如何解决

问题复现条件 #

• 生产者实现：Java服务读取本地图片为字节数组，指定key序列化器为StringSerializer、value序列化器为ByteArraySerializer，将字节数组作为消息value发送到对应Topic
• 基准验证：使用Kafka自带命令行客户端kafka-console-consumer.sh消费该Topic消息，将控制台输出重定向导出为.jpg文件，图片可正常打开浏览
• 故障表现：自定义Java消费者消费同Topic消息，将消费到的value内容写入本地.jpg文件后，文件始终损坏无法打开

排查过程 #

• 初始消费者配置：key反序列化器固定为StringDeserializer，先后尝试两种value反序列化方案，统一使用FileWriter将记录value写入目标文件：
  • 方案1：value反序列化器使用StringDeserializer：程序无报错，但导出的jpg文件完全损坏
  • 方案2：value反序列化器使用ByteArrayDeserializer：消费阶段直接抛出类型转换异常
• 数据比对：抓取kafka-console-consumer输出的原始二进制字节流，和IntelliJ中Java消费者接收到的value数据做逐段对比，二者存在明显字节差异

根因与修复方式 #

核心故障点为KafkaConsumer的泛型声明错误：代码中误将消息value的泛型类型声明为String，和实际传输的字节数组类型不匹配，正确泛型声明需要将value类型指定为byte[]。
修正泛型声明后，保持value反序列化器为ByteArrayDeserializer，替换字符流类FileWriter为字节输出流写入消费到的byte数组内容，导出的jpg文件可正常打开，故障解决。

内容的提问来源于stack exchange，提问作者Rahul Siyanwal