Spark执行计划ShuffleQueryStage节点sizeInBytes含义及场景问询

核心结论 #

ShuffleQueryStage的sizeInBytes指的是经过AQE（自适应执行）优化后，该阶段预期要处理的Shuffle逻辑数据总字节数，它是Spark基于数据统计信息估算出的未序列化内存对象的总大小，并非Shuffle Write阶段写入磁盘的序列化后数据量。

结合你的案例分析 #

• 外部源读取后的Shuffle Write为1.8 TiB：这是Shuffle阶段将数据序列化（可能还经过压缩）后写入磁盘的实际物理数据量，是序列化后的紧凑格式大小。
• AQE ShuffleQueryStage的sizeInBytes为7.4 TiB：这是Spark通过AQE收集到的上游数据统计信息，估算出的该阶段需要处理的未序列化原始对象总大小——这个值和后续排序阶段的溢出数据规模（Spill(memory)7.3 TiB + Spill(disk)1.7 TiB）高度接近，因为排序操作处理的是内存中的未序列化对象，溢出量直接对应这些对象的内存占用。
• MEMORY_ONLY缓存大小4.6 TiB：这是缓存中存储的未序列化Java对象的实际内存占用（MEMORY_ONLY存储级别默认保存反序列化的对象），由于缓存可能只覆盖了部分数据，所以和7.4 TiB的全量估算值存在差异。

对你疑问的明确回答 #

sizeInBytes不是Shuffle前内存中对象的大小，而是AQE优化后，该Shuffle阶段需要处理的全量逻辑数据的未序列化对象估算总大小，和Shuffle Write的序列化磁盘数据分属不同统计维度。

内容的提问来源于stack exchange，提问作者a.k