如何基于Spark Dataframe的数值区间生成包含逐个数值的新Dataframe

核心需求是把原DataFrame中[start, end]的闭区间，展开为区间内每个连续数值占一行，同时保留对应type值的结构，有以下几种常用可行方案：

方案1：内置函数实现（Spark 2.4+ 推荐） #

利用Spark 2.4版本新增的sequence内置函数直接生成区间序列，再搭配explode函数把数组展开为多行，是性能最优的方案，没有UDF的序列化开销。

PySpark示例代码 #

from pyspark.sql import functions as F

# df为输入的原始区间DataFrame
result_df = df.withColumn("nbr", F.explode(F.sequence(F.col("start"), F.col("end")))) \
              .select("nbr", "type")

Scala示例代码 #

import org.apache.spark.sql.functions.{explode, sequence, col}

val resultDf = df.withColumn("nbr", explode(sequence(col("start"), col("end"))))
                 .select("nbr", "type")

方案2：UDF实现（兼容Spark低版本） #

如果使用的是2.3及以下不支持sequence函数的Spark版本，可以自定义UDF生成区间序列，再做展开操作。

PySpark示例代码 #

from pyspark.sql import functions as F
from pyspark.sql.types import ArrayType, IntegerType

# 定义生成闭区间序列的UDF
gen_range_udf = F.udf(lambda start, end: list(range(start, end + 1)), ArrayType(IntegerType()))

result_df = df.withColumn("range_arr", gen_range_udf(F.col("start"), F.col("end"))) \
              .withColumn("nbr", F.explode("range_arr")) \
              .select("nbr", "type")

注意事项 #

• 若单个区间的跨度非常大（比如单区间长度超过100万），直接生成大数组可能导致Executor内存溢出，这种场景建议提前构造一个包含所有可能数值的连续数字维度表，通过nbr >= start AND nbr <= end的条件做关联查询，性能更稳定。
• 操作前要确保start和end列为整数类型，若为字符串类型需先通过cast转换为数值类型再处理。

内容的提问来源于stack exchange，提问作者Fahd Zaghdoudi