Spark结合partitionBy与coalesce写入S3遇OOM问题求最优方案

我之前也碰到过一模一样的坑！用coalesce(1)强制把所有数据合并到一个分区，结果数据量一大直接把Executor内存撑爆——毕竟所有分区的数据都要挤到单个节点处理，内存根本扛不住。下面给你几个靠谱的解决方案，按优先级排序：

1. 按分区键预分区（最优方案，推荐优先尝试） #

你的核心需求是每个分区路径下一个文件，根本不需要全局合并到1个分区。正确的思路是先按你的分区键SellerYearMonthWeekKey做repartition，让每个分区键对应一个RDD分区。这样写入时，每个S3分区目录下自然只会生成一个文件，而且数据是分散在多个Executor上处理的，内存压力被分摊，不会出现OOM。

代码示例：

orderFlow
  .repartition("SellerYearMonthWeekKey") // 按分区键预分区，每个键对应独立的RDD分区
  .write
  .partitionBy("SellerYearMonthWeekKey")
  .mode(SaveMode.Overwrite)
  .format("com.databricks.spark.csv")
  .option("delimiter", ",")
  .option("header", "true")
  .save(outputS3Path + "/")

注意：如果你的SellerYearMonthWeekKey基数极大（比如上万个不同值），repartition会生成大量Task，可能影响集群性能。这时候可以看下面的方案。

2. 使用maxRecordsPerFile参数（灵活适配高基数分区键） #

Spark的CSV写入API支持maxRecordsPerFile选项，你可以设置一个远大于单个分区键下数据量的数值，这样每个分区目录下只会生成一个文件，同时不需要做任何全局合并操作，内存压力极小。

代码示例：

orderFlow
  .write
  .partitionBy("SellerYearMonthWeekKey")
  .mode(SaveMode.Overwrite)
  .format("com.databricks.spark.csv")
  .option("delimiter", ",")
  .option("header", "true")
  .option("maxRecordsPerFile", 10000000) // 设为远大于单分区数据量的值，比如1000万
  .save(outputS3Path + "/")

这个方案的优势是不需要提前预估分区键基数，Spark会自动控制每个文件的记录数，只要你设置的数值足够大，就能保证单分区单文件。

为什么你的原代码会OOM？ #

coalesce(1)是把所有RDD分区的数据强制shuffle到单个Executor上，不管你的数据有多大，这个Executor的内存要装下全量数据，自然容易触发OutOfMemoryError。而上面两个方案都是让数据分散处理，从根源上避免了全局数据集中的问题。

额外优化建议 #

• 检查你的Spark集群配置：如果Executor内存本身配置过低（比如小于4G），即使采用上面的方案，处理超大分区数据时也可能OOM，可以适当调高executor-memory参数。
• 如果是Spark 2.4+版本，建议使用内置的csv格式（直接写format("csv")），比第三方的com.databricks.spark.csv更稳定高效。

内容的提问来源于stack exchange，提问作者d_luffy_de