超大规模表下PySpark全量GroupBy Sum与分批聚合的性能对比

第一种方式（直接全表执行groupby("id").agg(sum("value"))）速度更快，核心原因如下：

• Spark的分布式并行处理能力会被充分发挥：直接对全表操作时，Spark Catalyst优化器会做全局规划，自动将数据分片到各Executor节点并行计算，同时利用谓词下推、数据分区优化等手段，避免不必要的IO和计算开销。
• 第二种分批处理方式会引入大量额外成本：
  • 多次数据源扫描：按date分批查询需要重复读取原表，超大规模表的IO成本会被大幅放大。
  • 多轮shuffle与聚合：每批groupby都会触发一次shuffle，后续还要对分批结果再次求和，相当于额外增加了一轮计算和shuffle操作，整体资源消耗远高于全表一次性计算。
  • 无法利用全局优化：分批操作割裂了数据的全局关联性，Catalyst无法进行跨批次的优化规划，只能逐个处理任务，进一步降低效率。

唯一的例外场景：如果原表是按date字段分区的，且业务需求确实需要按日期增量计算，分批处理可以避免全表扫描，但如果只是为了“拆分计算”而刻意分批，完全是画蛇添足，只会拖慢处理速度。

内容的提问来源于stack exchange，提问作者ธนาคาร ฉั่ว