Apache Flink滑动窗口分配器内部机制及Cassandra写入结果疑问

核心结论 #

最终Cassandra中的结果数量，取决于你使用的是Keyed窗口还是Non-Keyed窗口，以及滑动窗口的触发次数：

• 如果是Keyed滑动窗口：每个Key对应每个滑动窗口生成1条结果，你的例子中5个Task各处理2000条，说明事件被分成了5个Key分组，因此每个滑动窗口会生成5条结果。
• 如果是Non-Keyed滑动窗口：所有事件会被全局聚合，每个滑动窗口仅生成1条结果。

内部工作原理 #

1. Keyed滑动窗口场景

当你对数据流做了keyBy(...)操作后：

• Flink会根据Key的哈希值将事件分配到不同的Task实例（对应你的5个TaskManager），同一个Key的所有事件只会进入同一个Task。
• 每个Task独立维护自己负责的Key的窗口状态，当滑动窗口触发（每5分钟一次）时，每个Task会计算自己负责的Key对应的窗口聚合结果，然后写入Cassandra。
• 你的例子中5个Task各处理2000条，意味着存在5个不同的Key分组，因此每个滑动窗口会输出5条结果到Cassandra。

2. Non-Keyed滑动窗口场景

如果没有做keyBy操作，使用的是全局窗口：

• Flink会将所有事件路由到同一个Task实例进行处理（不管你有多少个TaskManager），因为全局聚合需要所有数据在同一个节点计算。
• 每5分钟滑动窗口触发时，该Task会计算当前窗口时间范围内的所有事件聚合结果，写入Cassandra的是1条结果。

滑动窗口的触发逻辑

你的窗口配置为1小时窗口大小、5分钟滑动间隔，意味着每5分钟会触发一次窗口计算，每次计算的是过去1小时内的事件数据。所以每个Key（或全局）每5分钟会生成一条结果，1小时内总共会触发12次窗口计算。

内容的提问来源于stack exchange，提问作者swapnil jain