Spark对超出Executor内存的DataFrame执行orderBy是否可行？

• Executor端自动触发磁盘溢出：
  当Executor执行局部排序，或者接收shuffle过来的排序分片数据时，如果内存不足以容纳当前处理的数据，Spark会自动触发磁盘溢出机制——将内存中放不下的部分数据临时写入磁盘，后续再分批从磁盘读取数据完成归并排序。这个过程由Spark的统一内存管理机制自动调度，只要集群节点有足够的磁盘空间，不会直接抛出OOM错误。

• Driver端的OOM风险仅存在于数据拉取动作：
  orderBy本身属于惰性执行的Transformation操作，执行时Driver仅处理元数据，不会加载全量排序后的数据。只有当你执行collect()、show()这类Action操作，将排序后的全量数据拉取到Driver内存时，若数据量超过Driver的可用内存，才会触发OOM错误。如果只是生成排序后的DataFrame而不触发全量拉取，Driver不会有内存压力。

• 核心结论：
  仅执行orderBy操作时，只要集群磁盘空间充足，Spark可以完成全局排序，过程中会自动使用磁盘溢出，不会出现OOM；只有后续触发将全量数据拉到Driver的Action时，才可能因内存不足抛出OOM。

内容的提问来源于stack exchange，提问作者Kira