Apache Flink中Watermark与窗口关联问题及代码运行异常咨询

一、窗口无输出的原因及解决方案 #

核心原因和对应修复方案如下：

• 事件时间戳单位不匹配
  你给出的事件示例中时间戳为秒级数值（如A,4、C,8），但Flink事件时间默认要求为毫秒级时间戳。直接传入秒级数值会导致事件时间停留在1970年年初，Watermark永远无法推进到窗口触发阈值，因此窗口不会输出结果。
  修复方案：在时间戳分配环节将数值转为毫秒级：

.withTimestampAssigner((element, timestamp) ->
    element.getTimestamp() * 1000L
)

• 多分区空闲导致Watermark卡住
  如果你的Kafka主题watermarkFlink存在多个分区，只要有一个分区没有数据流入，Flink的Watermark会取所有分区的最小Watermark值，导致整体Watermark无法推进。
  修复方案：在Watermark策略中添加空闲分区检测配置：

WatermarkStrategy<Order> orderWatermarkStrategy = CustomWatermarkStrategy.<Order>forBoundedOutOfOrderness(Duration.ofSeconds(1))
    .withTimestampAssigner((element, timestamp) -> element.getTimestamp() * 1000L)
    .withIdleness(Duration.ofSeconds(30)); // 空闲30秒的分区会被排除在Watermark计算外

• 未达到窗口触发条件
  你使用的是20秒大小、5秒滑动的事件时间窗口，搭配1秒的乱序容忍度，窗口触发条件为Watermark >= 窗口结束时间 + 乱序容忍时间。例如第一个窗口范围为[0,20)，需要Watermark达到21秒（对应秒级时间戳为21）才会触发计算。测试时如果仅发送小数值的时间戳事件，也不会触发窗口输出。

二、滞后事件处理规则解答 #

你描述的场景下，默认配置下该滞后事件会被直接忽略，逻辑如下：

1. 时间戳为2的事件对应的滑动窗口包括[-5,15)、[0,20)两个区间
2. 当首个窗口关闭时，说明当前Watermark已经超过21（窗口结束时间20 + 乱序容忍1秒），两个关联窗口均已销毁，迟到事件不会再被纳入计算。

如果需要保留处理迟到数据的能力，可以给窗口配置允许迟到时间：

.window(SlidingEventTimeWindows.of(Time.seconds(20), Time.seconds(5)))
.allowedLateness(Time.seconds(10)) // 窗口结束后10秒内到达的迟到数据仍会被处理
.sum(1)

配置后窗口会在首次触发计算后保留状态10秒，这段时间内到达的迟到数据会触发窗口重新计算并输出更新后的结果，直到允许迟到时间结束后才会真正销毁窗口状态。

内容的提问来源于stack exchange，提问作者Issibra