能否通过Kafka REST Proxy读取二进制Avro消息？遇报错求排查

这个错误我之前帮朋友排查过，其实根源很明确——你发送的是二进制Avro数据，但Kafka REST Proxy默认把它当成UTF-8文本去解析了，自然会炸出字符转换错误。结合你说的用了两处示例做写入和读取，大概率是两端的格式没对应上，咱们一步步拆：

错误原因拆解 #

你看到的java.io.CharConversionException: Invalid UTF-32 character...本质是：

REST Proxy默认会把Kafka消息的value当成UTF-8编码的字符串来解码，但你写入的是二进制Avro序列化数据（字节序列不符合UTF-8规则），所以解码时直接报错。

可能的问题点及解决步骤 #

1. 写入端：Avro消息序列化方式不对 #

如果你的Producer没有用Confluent生态的Avro序列化器，而是手动生成了原始Avro二进制，或者用了普通的字节数组序列化器，REST Proxy会无法识别这是Avro数据：

• 检查Producer配置，必须指定：

  value.serializer=io.confluent.kafka.serializers.KafkaAvroSerializer
  schema.registry.url=http://你的schema-registry地址:8081
  

  这个序列化器会自动把Avro对象和对应的schema ID封装成Kafka能识别的Avro消息格式（不是纯原始Avro二进制），REST Proxy需要这个格式才能正确解码。
• 确认Producer能成功向Schema Registry注册schema（可以登录Registry的UI或者用API查看已注册的schema）。

2. 读取端：REST Proxy请求格式没指定对 #

即使写入正确，如果你调用REST Proxy时没明确告诉它要处理Avro格式，它还是会默认按文本解析：

• 直接读取单条消息时，必须在请求URL里加format=avro参数：

  curl -X GET "http://你的rest-proxy地址:8082/topics/你的主题名?format=avro&partition=0&offset=0"
  

• 用消费者组读取时，创建消费者要指定format=avro：

  curl -X POST -H "Content-Type: application/vnd.kafka.v2+json" \
    --data '{"name": "avro-consumer-group", "format": "avro", "auto.offset.reset": "earliest"}' \
    http://你的rest-proxy地址:8082/consumers/avro-consumer-group
  

3. REST Proxy自身配置缺失 #

确保REST Proxy的配置文件里已经指定了Schema Registry的地址，否则它无法拉取对应的Avro schema来解码：

schema.registry.url=http://你的schema-registry地址:8081

总结 #

核心就是两端格式要匹配：写入用带Schema Registry的Avro序列化器，读取时告诉REST Proxy这是Avro格式，同时保证REST Proxy能访问到Schema Registry。按上面的步骤排查，应该就能解决这个字符转换错误了。

内容的提问来源于stack exchange，提问作者ironic