Spark如何将Dataset保存为Hadoop上的单个文件而非文件夹？

这事儿我太熟了！Spark默认输出文件夹是因为它的分布式特性——每个计算分区都会单独输出一个文件，所以你看到的myjson.json其实是个包含多个part-*.json分片文件的目录，这完全是正常的分布式输出行为。要生成单个JSON文件，有几个实用的方案：

方案1：合并分区后保存（适合小数据集） #

如果你的数据集不大，直接把所有分区合并成一个再保存就行。修改代码时，在write前加上coalesce(1)或者repartition(1)：

val df = spark.read.textFile("hdfs://path/to/file") 
 .flatMap(i => i.split("\\s+")) 
 .groupBy("value").count.toDF("word","count") 
 .coalesce(1) // 把所有分区合并为1个，避免不必要的数据洗牌
 .write.json("hdfs://path/to/myjson_temp")

执行后HDFS里会生成myjson_temp文件夹，里面有一个part-*.json文件和一些元数据文件（比如_SUCCESS）。接下来用Hadoop命令把这个分片文件重命名成你要的文件名，再删掉临时文件夹：

# 重命名分片文件
hdfs dfs -mv hdfs://path/to/myjson_temp/part-*.json hdfs://path/to/myjson.json
# 删除临时目录
hdfs dfs -rm -r hdfs://path/to/myjson_temp

这里提一句：coalesce(1)比repartition(1)更高效，因为它只是合并现有分区，不会触发数据洗牌；而repartition会重新分配数据，一般只在需要调整分区分布时用，这里用coalesce就足够了。

方案2：用Spark 3.3+的saveAsSingleFile（最省心） #

从Spark 3.3版本开始，官方新增了saveAsSingleFile方法，专门用来输出单个文件，不用手动合并重命名，直接一步到位：

import org.apache.spark.sql.SaveMode

val df = spark.read.textFile("hdfs://path/to/file") 
 .flatMap(i => i.split("\\s+")) 
 .groupBy("value").count.toDF("word","count") 
 .write
 .mode(SaveMode.Overwrite) // 根据需求选保存模式，比如Overwrite覆盖、Append追加等
 .saveAsSingleFile("hdfs://path/to/myjson.json")

这个方法会直接在HDFS生成单个myjson.json文件，非常方便，但要确认你的Spark版本是否达到3.3及以上。

重要提醒 #

• 别对大数据集用合并分区的方法！强行把所有数据集中到一个节点，很容易导致内存溢出，而且性能会极差。
• 如果是生产环境的大数据，建议保留默认的多文件输出——Spark读取时可以并行加载多个分片，效率更高。只有在确实需要单个文件（比如给非分布式系统使用）的场景，再用上面的方案。

内容的提问来源于stack exchange，提问作者Jacky Wong