Spark Scala：如何将多个SequenceFile写入同一文件夹？

问题重现 #

你尝试将多个SequenceFile写入同一目录时，执行第二行代码触发"directory home/sample1 already exists"错误，代码如下：

sequence1.saveAsSequenceFile("home/sample1")
sequence2.saveAsSequenceFile("home/sample1")
sequence3.saveAsSequenceFile("home/sample1")

可行解决方案 #

1. 合并RDD后一次性写入（优先推荐） #

如果所有SequenceFile对应的RDD键值类型一致，直接合并所有RDD再写入，这是最符合Spark设计理念的高效方式：

val combinedRDD = sequence1.union(sequence2).union(sequence3)
combinedRDD.saveAsSequenceFile("home/sample1")

注意：若RDD类型不同，此方法会编译报错，需换用其他方案。

2. 写入同一目录下的不同子文件 #

Spark的saveAsSequenceFile默认会将数据拆分为目录下的多个part-*格式分区文件，你可以手动指定每个RDD的输出文件名，确保不重复即可：

sequence1.saveAsSequenceFile("home/sample1/part-00000")
sequence2.saveAsSequenceFile("home/sample1/part-00001")
sequence3.saveAsSequenceFile("home/sample1/part-00002")

后续读取该目录时，Spark会自动加载所有part-*开头的文件，完全不影响使用。

3. 覆盖已存在的目录（仅适用于旧数据可丢弃场景） #

如果目标目录的旧数据无需保留，可以通过两种方式实现覆盖写入：

• 手动删除目录（基于HDFS API）：

import org.apache.hadoop.fs.{FileSystem, Path}
import org.apache.spark.SparkContext

val fs = FileSystem.get(sc.hadoopConfiguration)
val targetPath = new Path("home/sample1")
if (fs.exists(targetPath)) {
  fs.delete(targetPath, true) // true表示递归删除子目录
}
// 此时再执行多次写入即可，但实际上合并后写入一次更高效
sequence1.saveAsSequenceFile("home/sample1")

• 配置Spark允许覆盖输出：
  初始化SparkContext时添加相关配置：

val conf = new SparkConf()
  .setAppName("WriteSequenceFile")
  .set("spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version", "2")
  .set("spark.sql.sources.partitionOverwriteMode", "dynamic")
val sc = new SparkContext(conf)

这种方式会直接覆盖整个目录内容，第二次写入会清除第一次的数据，仅在确认旧数据无用时使用。

总结 #

优先选择合并RDD后一次性写入的方案；若RDD类型不兼容，采用写入不同子文件的方法；覆盖目录仅作为特殊场景下的备选。

内容的提问来源于stack exchange，提问作者Jelly