Flink UI数据统计异常：Union流Sink输入数据与实际不符

• 先确认Union操作的合法性

  • 检查两个待Union的流数据类型是否完全一致：Flink对Union的流有严格的类型要求，哪怕是POJO字段顺序不一致、泛型参数不匹配，都会导致不匹配的流数据被静默丢弃。这种情况下ProcessFunction的日志会显示输出，但数据根本没进入Union后的流。
  • 核对代码中union()方法的调用：确保处理后的SideOutput流和Join结果流都被正确传入，没有传错流对象或者漏传。

• 验证SideOutput处理流的实际输出

  • 给处理后的SideOutput流临时添加一个测试Sink（比如print()或者写入临时文件），确认这95条数据确实被生成并输出，排除日志误报的可能。
  • 检查ProcessFunction的collect()调用逻辑：有没有因为异常、条件判断错误等导致部分数据未输出。

• 排查Flink UI的显示问题

  • UI统计存在延迟：尤其是数据量较小时，指标更新可能滞后，等待5-10分钟后刷新页面再查看。
  • 确认UI查看的是算子汇总统计：默认可能显示单个子任务的数据，切换到算子级别查看总输入量。

• 检查并行度匹配问题

  • 如果Join结果流和处理后的SideOutput流并行度不同，Sink并行度设置不当可能导致统计偏差。尝试统一所有算子的并行度，或者确保Sink并行度能兼容上游两个流的并行度。

• 借助Metric指标定位

  • 查看以下关键指标：
    • ProcessFunction算子的numRecordsOut：应该等于95
    • Union算子的numRecordsIn：应为37280+95=37375，numRecordsOut应和这个数值一致
    • Sink算子的numRecordsIn：需等于Union算子的numRecordsOut
  • 如果Union输出是37375但Sink输入只有37280，说明Sink内部有过滤或异常；如果Union输入没包含那95条，问题出在Union之前的环节。

内容的提问来源于stack exchange，提问作者user12331