并行度为2的Flink Table是否为独立表？如何获取总统计值？

• 并行度=2≠2个独立的表
  Flink的parallelism=2指的是作业执行时的物理并行任务数，表是逻辑层面的抽象概念，不会因为并行度拆分出多个独立表。并行度影响的是数据处理的并行能力——比如多个并行任务同时消费Kafka分区、并行处理数据，但逻辑上始终是同一个表。

• 窗口聚合的输出结果取决于是否有分组Key
  针对你提到的场景：

  • 如果SQL没有指定GROUP BY的Key（全局窗口聚合）：Flink会强制将这个聚合算子的并行度设为1，因为全局统计需要把所有数据汇总到同一个任务计算。这时候100万条消息只会输出1条流消息，计数为100万，平均值为全局平均。
  • 如果SQL指定了GROUP BY的Key（按Key分组窗口聚合）：数据会按Key的哈希值分配到2个并行任务中处理，每个任务只负责一部分Key的窗口计算。输出的流消息是每个Key对应的窗口结果——比如某个Key的窗口内有50万条数据，就输出该Key的count=50万；另一个Key的窗口有50万，就输出另一条结果。不会出现把同一个窗口的总计数拆成两条各50万的情况。

• 并行度=2时如何获取总计数

  • 全局聚合场景：无需额外操作，Flink会自动将聚合算子并行度设为1，直接得到总计数。
  • 分组聚合后需汇总总计数：可以在分组窗口聚合之后，再添加一层全局聚合（不指定Key），示例SQL如下：

    SELECT SUM(count_x) AS total_count, AVG(avg_x) AS global_avg
    FROM (
        SELECT COUNT(x) AS count_x, AVG(x) AS avg_x 
        FROM TABLE(TUMBLE(...)) 
        GROUP BY window_start, window_end, your_key
    )
    

    此时第二层全局聚合的并行度会被设为1，最终输出总计数。

内容的提问来源于stack exchange，提问作者Kenank