如何将KStream中值为List的单条消息拆分为多条同键独立消息

你需要的打平操作可以直接通过flatMapValues算子实现，该算子支持输入一个value、输出0到多个value，且默认保留原消息的key，完全符合你的需求。

代码示例（Java版） #

假设你聚合后的流对象为aggregatedStream，类型为KStream<String, List<MyObject>>，处理代码如下：

// 执行打平操作
KStream<String, MyObject> flattenedStream = aggregatedStream
    .flatMapValues(valueList -> {
        // 可选：添加空值判断避免空指针异常
        if (valueList == null || valueList.isEmpty()) {
            return Collections.emptyList();
        }
        return valueList;
    });

// 直接输出到目标topic即可，每条MyObject对应一条独立消息，key和聚合后的key一致
flattenedStream.to("output-topic-name");

原理解释 #

flatMapValues要求返回值为Iterable类型，Java的List本身已经实现了Iterable接口，算子会自动遍历List中的每一个元素，将每个元素生成一条独立的消息，所有新生成的消息都会复用原有消息的Key，最终得到格式为<String, MyObject>的流。

如果使用Scala等其他语言的Kafka Streams实现，逻辑完全一致，调用对应版本的flatMapValues算子传入得到的List即可实现打平。

内容的提问来源于stack exchange，提问作者Gonan