Apache SPARK：哪些SQL操作需将全量数据迁移至单分区执行

问题2答复：预分区假设验证 #

你表格中关于提前预分区的相关假设完全正确。Spark中支持分布式执行的算子，提前按照对应算子的关联键做预分区，能够消除后续操作的冗余shuffle，直接在各分区并行执行计算逻辑，可有效提升作业执行效率。

问题1答复：需标记为「设计上需单分区执行=YES」的其他常见操作 #

除你已列出的不带partition by的rownumber外，还有以下操作需要标记为YES：

• 未指定PARTITION BY子句的所有窗口函数，包括但不限于rank()、dense_rank()、lag()、lead()、窗口聚合函数等，这类操作和不带分区的rownumber逻辑一致，需要将全量数据拉到同一个分区计算，运行时同样会触发你提到的WindowExec警告
• 显式将数据集合并为单分区的操作，比如coalesce(1)、repartition(1)
• 无分组键的全局collect_list、collect_set等聚合操作，最终汇总阶段需要将所有元素拉到同一个分区计算
• 需要输出全局有序的单个结果文件的排序操作，这类操作要求所有数据汇总到单分区做最终排序，否则输出的多个文件仅各自有序、全局无序

补充说明 #

你现有表格的标记全部正确，仅min/max行可以补充细节：如果是全局无分组的min/max计算，可将预分区技术补充为「各分区并行计算局部结果后全局汇总」，无需单分区执行的标记NO准确无误。

内容的提问来源于stack exchange，提问作者MiamiBeach