如何从Druid中获取Kafka事件Key？能否将其字段整合进rollup？

该操作完全可行，不需要对现有Kafka接入链路做大规模改造，只需要调整摄入Spec的相关配置，即可实现从Kafka消息Key提取字段、并将字段纳入rollup聚合逻辑的目标。

具体实现路径 #

• 第一步：开启Kafka元数据摄入能力
  在Kafka摄入任务的ioConfig配置块中，显式开启includeKafkaMetadata选项。开启后Druid会自动从Kafka消费记录中提取内置元数据字段，其中就包括消息Key对应的原始字节值字段kafka.key，其余自动提取的元数据还包含消息时间戳、分区号、偏移量等。
• 第二步：解析结构化的Key字段
  由于默认摄入的kafka.key是原始二进制格式，你需要根据自身Key的序列化规则（比如字符串、JSON结构、自定义编码），通过转换规则将其拆分为独立的结构化字段：
  • 如果Key是简单字符串格式，可以直接通过expression转换逻辑将二进制值转为字符串，无需额外编码
  • 如果Key是嵌套的结构化格式（比如JSON、Protobuf），可以在转换层加对应的解析逻辑，把需要的子字段拆解为独立列
• 第三步：将字段纳入rollup流程
  Druid的rollup聚合逻辑完全基于你在dataSchema中定义的维度列表执行。只要把上一步解析出来的、需要参与聚合的Key子字段加入维度列表，这些字段就会和消息Value中解析出的字段拥有完全一致的权重，自动参与rollup的分组、聚合流程。

常见注意事项 #

• 上述内置Kafka元数据摄入能力在Druid 0.16及以上版本默认提供，如果你使用的是更早的低版本，可以通过自定义反序列化器，在反序列化阶段手动将Key值拼接为Value结构的一部分，后续按普通字段处理即可，核心逻辑和内置能力无差异。
• 不要将未解析的原始kafka.key二进制字段直接加入维度列表，否则Druid会将其作为不可拆分的二进制值存储，无法实现按Key内子字段粒度聚合的效果。

内容的提问来源于stack exchange，提问作者Noam Shaish