空数据集使用partitionBy时无法生成Delta Parquet文件的解决问询

当使用partitionBy且数据集为空时，Delta Lake因无法确定分区值，不会生成任何分区目录和数据文件；而不指定分区时，Spark会直接生成空的Delta元数据文件。以下是几种可行的解决方式：

方法1：添加空行触发文件生成 #

如果业务允许写入空行，可以在数据集为空时，手动创建一行符合原Schema的空数据，合并后再写入：

import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.types.StructType;

if (dataset.isEmpty()) {
    StructType schema = dataset.schema();
    Dataset<Row> emptyRowDF = spark.createDataFrame(spark.sparkContext().emptyRDD(), schema);
    
    emptyRowDF.union(dataset)
        .repartition(1)
        .write().format("delta")
        .partitionBy("sysPartitionKey")
        .save(clientId + "/" + folderName + "/FileName");
} else {
    dataset
        .repartition(1)
        .write().format("delta")
        .partitionBy("sysPartitionKey")
        .save(clientId + "/" + folderName + "/FileName");
}

注意：此方法会生成包含空行的分区文件，若不允许空行，需额外通过Delta事务删除该行。

方法2：手动初始化空Delta表 #

直接使用Delta API创建指定Schema和分区的空表，无需依赖数据写入：

import io.delta.tables.DeltaTable;
import org.apache.spark.sql.types.StructType;

String tablePath = clientId + "/" + folderName + "/FileName";
StructType schema = dataset.schema();

if (!DeltaTable.isDeltaTable(spark, tablePath)) {
    DeltaTable.create(spark)
        .tablePath(tablePath)
        .addColumns(schema)
        .partitionedBy("sysPartitionKey")
        .execute();
} else if (!dataset.isEmpty()) {
    dataset
        .repartition(1)
        .write().format("delta")
        .mode("append") // 根据业务需求选择模式，如overwrite
        .partitionBy("sysPartitionKey")
        .save(tablePath);
}

这种方式仅初始化Delta表的元数据结构，不会生成空行，后续有数据时可正常追加写入。

方法3：调整分区写入逻辑（可选） #

若不需要强制repartition(1)，可以尝试用coalesce(1)替代，结合上述方法使用，但这不是解决问题的核心手段，更多是优化写入性能。

内容的提问来源于stack exchange，提问作者Daksh