PySpark排序阶段内存/时长变化原理及Stage指标疑问

问题1：调小Executor内存后，排序阶段内存占用降低但耗时增加的底层原理 #

• 排序可用内存缩减，IO与计算开销上升：Executor内存调小后，分配给Shuffle排序的内存（由spark.shuffle.memoryFraction控制，默认占Executor内存的20%）成比例减少。每个Reduce Task只能在内存中处理更小批次的数据，需要将更多小批次数据溢写到磁盘。后续归并这些小磁盘文件时，会产生大量额外的磁盘IO操作，IO耗时大幅增加；同时内存排序的批次增多，排序计算的总次数也会上升，进一步拉长耗时。
• GC开销剧增：内存紧张时，JVM会频繁触发垃圾回收（尤其是Young GC），回收排序过程中产生的临时对象。GC会暂停Task执行，这部分停顿时间会累积到阶段耗时中，成为耗时增加的重要因素。
• Task并行度下降：Executor内存调小后，每个Executor能同时运行的Task数量减少（每个Task需要占用一定内存空间），整个阶段的Task并行执行能力下降，原本可以并行处理的Task现在只能减少并行数或部分串行执行，导致总耗时增加。
• 内存占用降低的核心原因：Executor整体内存被限制后，分配给排序任务的内存绝对值减少；同时内存紧张时JVM会更及时地回收对象，因此监控到的排序阶段峰值内存（peak memory total）会降低。

问题2：WholeStageCodegen的duration统计规则及与Sort框sort time total的区别 #

WholeStageCodegen的duration显示min/med/max的场景 #

只有当该Codegen阶段包含多个并行执行的Task时，才会统计并展示所有Task执行时间的最小值（min）、中位数（med）、最大值（max）。如果阶段仅包含单个Task，或者Task执行的统计数据未被完整收集（比如某些极简计算场景），则只会显示单个duration数值，不会展示分布统计。

与Sort框内sort time total的核心区别 #

• 统计范围不同：Sort框的sort time total仅统计Reduce端排序操作本身的耗时总和，包括内存排序、磁盘溢写、归并排序的全部时间；而WholeStageCodegen的duration是整个代码生成阶段的执行时间统计，该阶段可能包含排序、聚合、Join等多个算子的执行，范围远大于单纯的排序操作。
• 统计维度不同：sort time total是所有Reduce Task中排序耗时的累加值；而WholeStageCodegen的duration如果展示min/med/max，是该阶段所有Task执行时间的分布情况，反映不同Task的执行差异（比如数据倾斜时max会远大于min），单个duration则是阶段的总耗时或单个Task的执行时间。
• 统计目的不同：sort time total用于定位排序操作本身的性能瓶颈；WholeStageCodegen的duration用于评估整个合并算子阶段的整体执行效率，以及Task间的执行差异。

内容的提问来源于stack exchange，提问作者figs_and_nuts