如何混合Kafka Streams DSL与Processor API在异常时记录偏移量

我需要实现一个功能：当Kafka Streams处理消息发生解码异常时，记录该消息的偏移量。当前的代码逻辑如下：

void createTopology(StreamsBuilder builder) {
 builder.stream(topic, Consumed.with(Serdes.String(), new JsonSerde()))
        .filter(...)
        .mapValues(value -> {
          Map<String, Object> output;
          try {
            output = decode(value.get("data"));
          } catch (DecodingException e) {
            LOGGER.error(e.getMessage());
            // TODO: LOG OFFSET FOR FAILED DECODE HERE
            return new ArrayList<>();
          }
          ...
          return output;
        })
        .filter((k, v) -> !(v instanceof List && ((List<?>) v).isEmpty()))
        .to(sink_topic);
}

我了解到需要使用Processor API，但还没找到具体的实现方案。

解决方案 #

要获取并记录异常消息的偏移量，确实需要结合Processor API与DSL来实现，核心思路是通过transform()操作接入自定义Processor，利用Processor的上下文（ProcessorContext）获取偏移量信息。

1. 实现自定义DecodeProcessor

创建一个实现Processor接口的自定义处理器，在其中处理解码逻辑，捕获异常时通过上下文获取偏移量：

import org.apache.kafka.streams.processor.Processor;
import org.apache.kafka.streams.processor.ProcessorContext;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

public class DecodeProcessor implements Processor<String, YourValueType> {
    private ProcessorContext context;
    private static final Logger LOGGER = LoggerFactory.getLogger(DecodeProcessor.class);

    @Override
    public void init(ProcessorContext context) {
        this.context = context; // 保存上下文，用于获取消息元数据
    }

    @Override
    public void process(String key, YourValueType value) {
        try {
            Map<String, Object> output = decode(value.get("data"));
            context.forward(key, output); // 处理成功，转发结果到下游
        } catch (DecodingException e) {
            // 记录偏移量及异常详情
            LOGGER.error("解码失败，主题：{}，分区：{}，偏移量：{}，错误信息：{}",
                    context.topic(), context.partition(), context.offset(), e.getMessage());
            // 按原逻辑转发空列表，或选择不转发
            context.forward(key, new ArrayList<>());
        }
    }

    @Override
    public void close() {
        // 可在此做资源清理操作
    }
}

2. 在DSL拓扑中替换mapValues为transform

将原来的mapValues()替换为transform()，接入自定义处理器，保持原有下游逻辑不变：

void createTopology(StreamsBuilder builder) {
    builder.stream(topic, Consumed.with(Serdes.String(), new JsonSerde()))
            .filter(...)
            .transform(() -> new DecodeProcessor()) // 替换原mapValues逻辑
            .filter((k, v) -> !(v instanceof List && ((List<?>) v).isEmpty()))
            .to(sink_topic);
}

关键说明

• ProcessorContext不仅能获取偏移量，还能拿到当前消息的主题、分区等元数据，可按需记录
• transform()操作适合需要转换消息并转发到下游的场景，完全匹配你原来mapValues()的逻辑
• 如果不需要转发结果，也可以使用process()操作，但需要自行处理下游逻辑

内容的提问来源于stack exchange，提问作者Dean