Spark多数据集循环写入同一文件夹时挂起，如何实现逐文件生成？

首次写入后目标目录已存在且包含_SUCCESS标记文件，Spark默认的SaveMode.ErrorIfExists模式会触发目录存在检查，部分环境下可能因文件系统锁或状态检测逻辑导致save()操作阻塞挂起。同时默认写入逻辑不会自动为每个Dataset生成独立文件，而是复用目录结构。

要实现循环写入时每个Dataset生成独立的Parquet/Avro/JSON文件，可通过以下两种方式实现：

方式一：追加模式写入（同一目录下生成新的分区文件） #

使用SaveMode.Append模式，允许向已存在的目录追加数据，每个Dataset会生成对应的part文件（数量由分区数决定）。需保证所有Dataset的Schema完全一致，否则会写入失败。

Java代码示例 #

void writeDataset(Dataset<Row> dataset) {
    DataFrameWriter<Row> writer = dataset.write()
        .format("parquet") // 替换为"avro"或"json"即可对应其他格式
        .mode(SaveMode.Append); // 设置追加模式
    writer.save("/tmp/folder");
}

如果希望每个Dataset仅生成单个文件，可先将Dataset的分区数强制设为1：

void writeDataset(Dataset<Row> dataset) {
    DataFrameWriter<Row> writer = dataset.coalesce(1) // 合并为单个分区
        .write()
        .format("parquet")
        .mode(SaveMode.Append);
    writer.save("/tmp/folder");
}

方式二：为每个Dataset生成独立子目录 #

如果需要更清晰的文件隔离，可为每个Dataset创建单独的子目录（比如按时间戳或自定义命名），避免目录冲突问题，同时每个子目录下保留完整的格式文件结构。

Java代码示例 #

void writeDataset(Dataset<Row> dataset) {
    // 生成唯一子目录名，例如使用时间戳
    String subDir = "/tmp/folder/dataset_" + System.currentTimeMillis();
    DataFrameWriter<Row> writer = dataset.write()
        .format("parquet")
        .mode(SaveMode.Overwrite); // 子目录不存在时自动创建，存在则覆盖
    writer.save(subDir);
}

• 对于Avro格式，需确保Spark环境已引入Avro相关依赖（如spark-avro包）。
• JSON格式写入时，coalesce(1)同样可以实现单个文件输出，但JSON本身是文本格式，单文件在大数据量场景下可能影响读取性能。
• 分布式环境下，避免手动修改或移动Spark生成的文件，可能导致数据一致性问题。

内容的提问来源于stack exchange，提问作者Pramod Biligiri