在Palantir Foundry的Spark中写入分区数据时如何避免排序？

Spark在查询计划中对分区键自动添加了排序操作，这会减慢任务构建速度、增加内存占用甚至导致磁盘溢出。我确认这是新出现的行为，但旧构建的Spark详情已无法查看，没法直接验证。

写入逻辑 #

df = df.repartition('date')

tgt.write_dataframe(df, partition_cols=['date'])

查询计划 #

InsertIntoHadoopFsRelationCommand foundry://...
+- WriteFiles
   +- Sort [date#337 ASC NULLS FIRST], false
      +- Project ...
         +- CollectMetrics ...
            +- RepartitionByExpression [date#337]
               +- Project ...

相关已知问题（已在Spark 3.4+修复） #

• SPARK-37194：非动态分区场景下，避免FileFormatWriter中不必要的排序
• SPARK-41914：禁用计划写入优化时，分区写入的排序问题

我们的Foundry实例之前用的是Spark 3.2.1，但最近无论目标Spark版本怎么设置，运行时都自动切换成了Spark 3.4和3.5。

请问这个排序操作是否必要？能不能移除它？

这个排序操作不必要，可以通过以下方式移除 #

1. 原因分析
   你已经通过repartition('date')将数据按date分区键做了重分区，此时每个分区内的数据已经属于同一个date值，后续写入时再对date排序完全是冗余操作。

Spark 3.4+本应修复这类冗余排序（对应你提到的两个SPARK问题），但在Foundry环境下可能因为平台特定的写入逻辑（比如write_dataframe封装的行为），导致优化没有生效。

2. 具体移除方法

方法一：调整Spark配置

在写入前添加配置，强制关闭不必要的排序：

from pyspark.sql import SparkSession

spark = SparkSession.getActiveSession()
# 禁用分区写入前的强制排序（适配Spark 3.4+）
spark.conf.set("spark.sql.plannedWrite.sortBeforeWriting", "false")

tgt.write_dataframe(df, partition_cols=['date'])

方法二：替换为Spark原生写入API

既然已经按date重分区，可以直接用Spark原生写入API替代Foundry封装的方法，原生API在3.4+下会自动跳过冗余排序：

df.write.partitionBy('date').mode("overwrite").save("foundry://...")

方法三：检查Foundry平台配置

如果是平台层面强制添加了排序逻辑，可以联系Foundry管理员确认是否有全局配置开关，或者是否是write_dataframe方法的默认行为导致的。

内容的提问来源于stack exchange，提问作者user5233494