调用Kafka Rest API时key未加引号引发反序列化错误如何解决

反序列化报错原因 #

你当前为Kafka Rest Proxy配置了jsonschema格式同时解析消息的Key和Value，但你的消息Key是无引号包裹的纯文本字符串，不符合JSON语法规范，Jackson解析时无法识别truck开头的非JSON结构，所以抛出40801错误。
PC端原生消费者无报错是因为你配置了Key使用StringDeserializer解析，不涉及JSON校验，因此可以正常处理纯文本Key。

补充日志报错原因 #

补充日志中的Sequence contains no matching element是独立问题：你使用的.NET版Confluent.Kafka客户端依赖的librdkafka原生库没有适配安卓架构，运行时找不到对应平台的原生方法，所以消费者初始化直接失败。

方案1：调整Rest Proxy反序列化配置（优先推荐，无需修改存量消息） #

调用Rest Proxy创建消费者接口时，在请求体中分别指定Key和Value的反序列化器，不需要统一用jsonschema：

{
  "name": "android_consumer",
  "auto.offset.reset": "earliest",
  "key.deserializer": "org.apache.kafka.common.serialization.StringDeserializer",
  "value.deserializer": "io.confluent.kafka.serializers.json.KafkaJsonSchemaDeserializer"
}

配置后Key会以纯字符串形式解析，不需要走JSON校验，直接解决解析错误问题。

方案2：修改生产端Key格式（适合必须统一用jsonschema解析的场景） #

如果业务要求必须用jsonschema同时解析Key和Value，可在消息生产端修改逻辑：给Key外层加上双引号，将truck/6084/position转为"truck/6084/position"的合法JSON字符串格式再写入Kafka，原有PC端消费者无需调整，StringDeserializer会自动忽略外层引号。

方案3：安卓原生消费者适配方案 #

如果不想依赖Rest Proxy，想直接在安卓端使用原生Kafka消费者，可替换当前的.NET版Confluent.Kafka客户端，改用Java版Kafka客户端封装到安卓项目，或者使用适配安卓架构的librdkafka分支包，即可解决librdkafka初始化失败问题。

内容的提问来源于stack exchange，提问作者xodust1