Flink使用KafkaSource时并行度大于1导致窗口不触发执行问题排查

• 核对Kafka Topic分区数与作业并行度的匹配关系：新KafkaSource会为每个并行子任务分配至少一个Kafka分区，若Topic分区数小于作业设置的并行度，会出现部分Source子任务没有分配到任何分区的情况。这部分无数据的子任务永远不会生成水位线，而Flink全局水位线默认取所有并行子任务水位线的最小值，就会导致全局水位线永远无法推进到窗口触发阈值，窗口永久不触发。旧版FlinkKafkaConsumer会自动将多余的无分区子任务标记为闲置，不参与全局水位线计算，所以运行正常。该问题的解决方案是将作业并行度调整为小于等于Topic分区数，或对Kafka Topic扩容分区到与作业并行度匹配。
• 检查水位线生成的位置：确认水位线生成逻辑是放在KafkaSource算子之后直接执行，而非放在keyBy或其他shuffle算子之后。如果在shuffle之后生成水位线，并行度调高后可能出现部分子任务长时间没有对应key的数据流入，同样会卡住全局水位线。
• 确认是否配置了空闲分区检测：如果你的业务场景存在Kafka分区长时间无数据的情况，需要在水位线策略中开启空闲分区检测，否则无数据分区对应的Source子任务水位线会永久停滞，拖累全局水位线。配置示例：

WatermarkStrategy.forBoundedOutOfOrderness(Duration.ofSeconds(允许乱序时长))
    .withIdleness(Duration.ofMinutes(空闲分区超时时长))

• 检查事件时间提取逻辑：确认事件时间字段提取逻辑没有报错，不存在事件时间字段为空、格式解析错误的情况，避免所有消息的事件时间被标记为远小于窗口触发阈值，导致窗口永远达不到触发条件。
• 核对自定义分区分配逻辑：如果你自定义了KafkaSource的分区分配器，需要确认分配逻辑在并行度大于1时是否正常，是否存在分区分配不均、部分子任务完全分配不到数据的问题。

内容的提问来源于stack exchange，提问作者Bagdus