You need to enable JavaScript to run this app. Kafka Producer以JSON内DEVICEID为Key投递 全入分区0问题排查
优惠活动
大模型
产品
解决方案
定价
更多

Kafka Producer以JSON内DEVICEID为Key投递 全入分区0问题排查

Kafka Producer按DEVICEID路由分区问题修复

1. 优先修正Key取值逻辑(最高概率问题点)

当前代码中获取DEVICEID作为Key的实现为:
val keys = jsonNode.get(i).findValue("DEVICEID").toString
这里存在实现偏差:Jackson的JsonNode.toString()返回的是节点本身的JSON序列化结果,对于字符串类型的DEVICEID,返回值会携带前后包裹的双引号,并非你预期的纯设备ID文本。
正确的纯文本取值方法是调用asText(),将代码修改为:
val keys = jsonNode.get(i).findValue("DEVICEID").asText()
偏差带来的影响:如果当前取到的两个带引号的Key,哈希结果对2取模刚好都等于0,就会出现所有消息都落到分区0的巧合,修正为纯DEVICEID文本做Key后,才会按照设备ID本身的哈希值路由分区。

2. 验证消息实际分配的分区

当前代码中的ProducerRecord对象本身不会存储最终的分区结果,分区决策是消息发往Broker时才完成的。你可以通过发送回调拿到真实的分区信息,把原有的producer.send(record)替换为带回调的实现:

producer.send(record, new Callback() {
  override def onCompletion(metadata: RecordMetadata, exception: Exception): Unit = {
    if (exception == null) {
      println(s"Key: ${record.key()} 实际分区: ${metadata.partition()}")
    } else {
      exception.printStackTrace()
    }
  }
})

运行程序后通过控制台打印的日志,就能确认是否真的所有消息都被分到了分区0。

注意:如果之前你是用默认参数启动控制台消费者查看消息,很容易出现误判:默认消费者会先消费完分区0的所有消息,再切换到分区1拉取数据,看到开头的消息全来自分区0,不代表所有消息真的只存在分区0。

3. 核对Topic的实际分区数

偶尔会出现Topic创建时配置未生效的情况,需要确认目标Topictpch.devices_logs的实际分区数确实是2。如果实际分区数是1,无论Key是什么,所有消息都会落到唯一的分区0。

4. 确认分区路由配置

Kafka默认的分区器DefaultPartitioner的路由规则为:

  • 当Key不为空时,对Key的字节数组做Murmur2哈希,结果对分区总数取模得到目标分区
  • 当Key为空时,通过粘性分区策略随机选择分区,同批次消息会被路由到同一个分区
    当前代码没有自定义分区器,只要Key取值正确,两个不同的DEVICEID必然会根据哈希值被分配到对应分区。

5. 避免客户端提前退出导致消息未发送

Scala的App特质会在主线程任务执行完成后直接退出,虽然producer.close()会触发客户端缓存的消息刷出,但更稳妥的做法是在循环发送消息完成后,手动执行一次刷缓存操作,确保所有消息都发往Broker后再关闭Producer:

// 循环发消息结束后,关闭producer之前加
producer.flush()

内容的提问来源于stack exchange,提问作者rishu nigam

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.12 03:27:03