Spark/Java中如何创建并访问数据集内部分区而不生成多个独立数据集

你要的单数据集内按自定义阈值分区、支持二次分区、可单独访问分区的需求，用「加分区标识列 + 按标识列重分区」的方案实现即可，完全不需要拆分生成多个独立数据集，具体步骤如下：

核心逻辑说明 #

你提到的partitionBy分为两种常用场景：

• 写数据到存储时的DataFrameWriter.partitionBy()：用于生成分区目录，查询时自动做分区剪枝
• 窗口函数的partitionBy：用于窗口内的分组计算
  如果是要在内存计算阶段按自定义条件分区，配合repartition + 自定义分区标识列是Spark SQL生态下性能最优的方案，所有转换都是懒加载的逻辑操作，不会生成多份数据集副本，符合你不生成独立数据集的要求。

具体实现代码 #

第一步：生成一级分区标识列 #

你可以动态传入val1/val2等阈值，给原数据集添加一级分区标识：

import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import static org.apache.spark.sql.functions.*;

// 可动态更新的分区阈值
double val1 = 100;
double val2 = 200;

// 添加一级分区标识列，不会生成新的数据集副本
Dataset<Row> dfWithFirstPartition = df1.withColumn("first_part_id",
        when(col("col2Att").leq(val1), 0)
        .when(col("col2Att").gt(val2), 1)
        .otherwise(2) // 不需要中间区间可删除该行
);

如果需要让同分区数据落到同一个物理节点提升后续访问效率，可以按标识列重分区：

// 分区数和你一级分区的数量一致即可
Dataset<Row> firstRepartitionedDf = dfWithFirstPartition.repartition(col("first_part_id"));

第二步：二次分区 #

直接在已有分区的基础上添加二级分区标识列，传入新的阈值val3/val4即可：

double val3 = 50;
double val4 = 150;

// 添加二级分区标识列
Dataset<Row> dfWithSecondPartition = firstRepartitionedDf.withColumn("second_part_id",
        when(col("col2Att").leq(val3), 0)
        .when(col("col2Att").gt(val4), 1)
        .otherwise(2)
);

// 按两级分区标识联合重分区
Dataset<Row> finalDf = dfWithSecondPartition.repartition(
        col("first_part_id"),
        col("second_part_id")
);

第三步：单独访问指定分区 #

直接过滤分区标识列即可，因为已经按标识列重分区，过滤时不需要扫全量数据，效率很高：

// 示例：取一级分区为0、二级分区为1的所有数据
Dataset<Row> targetData = finalDf.filter("first_part_id = 0 and second_part_id = 1");

写盘分区说明 #

如果你需要把分区结果持久化到存储，直接用partitionBy写即可，会自动按分区标识生成目录，后续查询时自动剪枝：

finalDf.write()
        .partitionBy("first_part_id", "second_part_id")
        .parquet("your_storage_path");

内容的提问来源于stack exchange，提问作者John Campbell