Kafka Streams KTable外键左连接输出墓碑消息超出预期问题

问题描述 #

从Kafka Streams 3.5.0版本迁移至3.9.0版本后，KTable外键左连接出现不符合预期的行为：

• 左连接代码如下：

KTable<String, String> aJoinB = aTable.leftJoin(
        bTable,
        aValue -> aValue,
        (s, s2) -> s,
        TableJoined.as("a-join-b"),
        tableMaterialized("a-join-b-store")
);

• 当向aTable输入一条墓碑消息时，输出集合中包含两条墓碑消息，而3.5.0版本仅输出一条。查阅KIP-962文档未找到该场景的预期行为说明。

原因解释 #

Kafka Streams 3.9.0版本对KTable左连接的墓碑处理逻辑进行了调整，核心是为了强化状态与输出的一致性：

• 在3.5.0版本中，左表收到墓碑消息时，仅生成并输出对应键的墓碑消息，随后直接清理状态中该键的关联记录。
• 在3.9.0版本中，处理流程变为两步：
  1. 基于左表墓碑生成并输出一条对应键的墓碑消息（与旧版本一致）；
  2. 清理状态存储中该键的左表关联信息时，会检查是否存在右表关联的历史记录，若存在则额外输出一条墓碑消息，避免残留状态导致后续数据处理出现偏差。

这种调整是版本迭代中对状态管理一致性的优化，并非bug，但会导致输出条数与旧版本不同。

处理建议 #

• 若需保持3.5.0版本的单条墓碑输出行为，可尝试调整状态存储的清理配置，例如将cleanup.policy设置为delete，或通过自定义ValueJoiner过滤重复的墓碑消息；
• 若无需兼容旧版本行为，建议接受当前输出逻辑，因为它能更好地保证状态与输出的一致性，减少潜在的数据异常。

内容的提问来源于stack exchange，提问作者Sumit Baurai