Kafka Producer以JSON内DEVICEID为Key投递 全入分区0问题排查
1. 优先修正Key取值逻辑(最高概率问题点)
当前代码中获取DEVICEID作为Key的实现为:val keys = jsonNode.get(i).findValue("DEVICEID").toString
这里存在实现偏差:Jackson的JsonNode.toString()返回的是节点本身的JSON序列化结果,对于字符串类型的DEVICEID,返回值会携带前后包裹的双引号,并非你预期的纯设备ID文本。
正确的纯文本取值方法是调用asText(),将代码修改为:val keys = jsonNode.get(i).findValue("DEVICEID").asText()
偏差带来的影响:如果当前取到的两个带引号的Key,哈希结果对2取模刚好都等于0,就会出现所有消息都落到分区0的巧合,修正为纯DEVICEID文本做Key后,才会按照设备ID本身的哈希值路由分区。
2. 验证消息实际分配的分区
当前代码中的ProducerRecord对象本身不会存储最终的分区结果,分区决策是消息发往Broker时才完成的。你可以通过发送回调拿到真实的分区信息,把原有的producer.send(record)替换为带回调的实现:
producer.send(record, new Callback() { override def onCompletion(metadata: RecordMetadata, exception: Exception): Unit = { if (exception == null) { println(s"Key: ${record.key()} 实际分区: ${metadata.partition()}") } else { exception.printStackTrace() } } })
运行程序后通过控制台打印的日志,就能确认是否真的所有消息都被分到了分区0。
注意:如果之前你是用默认参数启动控制台消费者查看消息,很容易出现误判:默认消费者会先消费完分区0的所有消息,再切换到分区1拉取数据,看到开头的消息全来自分区0,不代表所有消息真的只存在分区0。
3. 核对Topic的实际分区数
偶尔会出现Topic创建时配置未生效的情况,需要确认目标Topictpch.devices_logs的实际分区数确实是2。如果实际分区数是1,无论Key是什么,所有消息都会落到唯一的分区0。
4. 确认分区路由配置
Kafka默认的分区器DefaultPartitioner的路由规则为:
- 当Key不为空时,对Key的字节数组做Murmur2哈希,结果对分区总数取模得到目标分区
- 当Key为空时,通过粘性分区策略随机选择分区,同批次消息会被路由到同一个分区
当前代码没有自定义分区器,只要Key取值正确,两个不同的DEVICEID必然会根据哈希值被分配到对应分区。
5. 避免客户端提前退出导致消息未发送
Scala的App特质会在主线程任务执行完成后直接退出,虽然producer.close()会触发客户端缓存的消息刷出,但更稳妥的做法是在循环发送消息完成后,手动执行一次刷缓存操作,确保所有消息都发往Broker后再关闭Producer:
// 循环发消息结束后,关闭producer之前加 producer.flush()
内容的提问来源于stack exchange,提问作者rishu nigam

