Flink中如何不使用时间窗口实现两条数据流的Join操作

Flink 原生支持这类无时间窗口约束的无界流Key关联，不需要依赖Window Join实现，常用的实现方案有两种：

方案1：基于 KeyedCoProcessFunction 自定义实现 #

这是灵活度最高的实现方式，完全可以自定义匹配规则、状态清理逻辑，适配任意到达顺序的匹配数据：

• 先将两条数据流分别按指定关联Key执行keyBy操作，得到两条KeyedStream
• 调用connect算子将两条同Key的KeyedStream连接为KeyedConnectedStreams
• 自定义KeyedCoProcessFunction实现关联逻辑：
  • 为两条流分别声明对应的Keyed State（通常用ValueState或者MapState，根据单Key下的数据量选择），用来缓存已经到达、暂未等到匹配对的数据
  • 流A的数据到达时，先查询流B对应的状态中是否存在同Key的可匹配数据：存在则直接输出关联结果，不存在则将当前流A的数据写入流A对应的状态缓存
  • 流B的数据到达时执行对称逻辑：先查询流A对应状态，匹配到则输出结果，未匹配到则写入流B的状态缓存
• 由于没有窗口边界限制，状态默认永久留存，若关联Key的基数会持续增长，必须给状态配置合理的TTL（生存时间），避免状态无限膨胀导致任务内存溢出。TTL时长可以根据业务可接受的最大数据迟到间隔设置，不需要严格对齐固定窗口边界。

方案2：使用Flink SQL的Regular Join（常规Join） #

如果用Flink SQL开发，可以直接使用原生的Regular Join能力，不需要手动维护状态，写法和传统离线SQL Join完全一致：

-- 直接按关联Key写普通Join即可，不需要加窗口相关条件
SELECT a.*, b.*
FROM stream_a a
INNER JOIN stream_b b
ON a.join_key = b.join_key;

该Join的底层逻辑和自定义KeyedCoProcessFunction一致，Flink会自动维护两个流的Keyed State缓存两边已到达的数据，无论匹配数据到达顺序如何、间隔多久，只要到达就能完成关联输出。

注意事项 #

• 所有无窗口的无界流关联，本质都是靠持久化状态缓存两边的历史数据实现跨时间匹配，不存在完全不占状态、也不设窗口的无界流Join
• 若不配置状态TTL，Flink会永久留存所有到达过的Key对应的数据，只要Key基数持续增长，最终必然会出现内存不足的问题，必须根据业务特性设置合理的状态过期规则。

内容的提问来源于stack exchange，提问作者user1112259