KStream-KStream Join场景下如何处理重复键？

KStream-KStream的窗口连接本身就允许重复键存在，它的处理逻辑和窗口机制、RocksDB状态存储的特性直接挂钩：

• 窗口内全量匹配：只要两条流里的同键记录落在同一个时间窗口内，每条重复的键记录都会参与匹配。比如流A有两条同键、同窗口的记录，流B有一条同键同窗口的记录，最终会生成2条连接结果——相当于窗口内同键的记录做笛卡尔积配对。
• RocksDB的存储方式：RocksDB会按「窗口+键」的维度来存储流入的每条记录，重复键的记录不会被覆盖，而是在对应窗口下保留多条。同时changelog topic会同步状态的所有变更（包括新增的重复键记录），用来在故障重启时重建完整的状态。
• 过期自动清理：当窗口超过配置的保留时长后，该窗口下的所有记录（不管是不是重复键）都会被从RocksDB中删除，changelog也会同步这个清理操作，防止状态无限膨胀。
• 业务侧可选去重：如果不需要重复键带来的多条连接结果，可以在连接前给KStream做预处理——比如用groupByKey().aggregate(...)保留窗口内最新的一条记录，或者直接调用distinct()去重，再执行连接操作。

内容的提问来源于stack exchange，提问作者lucas kim