将多SQL聚合查询整合到单个PyFlink应用的可行性相关咨询

问题1：每个SQL聚合查询是否对应一个独立的Flink Job？ #

默认不会。如果你将所有聚合逻辑对应的INSERT INTO语句都注册到同一个TableEnvironment中，最后统一调用一次execute()方法提交，所有SQL逻辑会被编译为单个Flink Job运行，不会生成多个独立Job。仅当你每写完一个SQL查询就单独调用一次execute()提交时，才会对应生成多个独立Flink Job。你想要降低运维开销的诉求，用统一提交为单个Job的方案完全可以实现。

问题2：单个Flink应用中承载过多查询是否会导致整体性能下降？ #

需要分场景判断：

• 收益侧：多个查询共享同一个Kinesis数据源的场景下，合并部署反而会提升性能——不需要重复读取Kinesis数据，也不需要重复执行数据解析、水印生成等公共前置逻辑，能有效降低资源浪费。
• 风险侧：如果承载的复杂聚合查询数量过多（比如超过20个），会导致Job拓扑复杂度上升，调度开销增加，同时所有查询的状态总大小累加后，会拉长Checkpoint耗时、提升失败概率。另外如果某一个查询出现反压，可能会拖慢整个Job的处理速度，你可以通过将不同查询的任务分配到独立的Slot共享组来缓解该问题。
  建议根据业务复杂度控制单个Job内的查询数量，10~20个以内的简单聚合查询合并部署是性价比很高的方案，超过的话可以按业务域拆分到少量几个Job中，平衡运维开销和运行稳定性。

问题3：所有查询共享同一个Kinesis数据源的情况下，是否每个查询都能获取到全量的数据源副本？ #

可以保证。Flink中上游算子生成的数据流会广播给所有下游消费节点，只要你所有的聚合查询都消费同一个源表的数据流，每个事件会被自动下发到所有消费该源的查询逻辑中，不会出现数据拆分、漏处理的情况，不需要你额外做数据副本的处理逻辑，完全符合你的业务要求。

内容的提问来源于stack exchange，提问作者Alfred