PySpark如何将1-3类区间值转换为1,2,3逗号分隔展开值

实现思路 #

核心是拆分区间的起始、结束数值，生成连续整数序列后拼接为逗号分隔字符串，两种常用实现方式如下：

方案1：内置函数实现（推荐，大数据量性能更优） #

不用自定义UDF，完全基于PySpark原生函数处理，性能损耗最低。

步骤1：构造测试数据 #

from pyspark.sql import SparkSession
from pyspark.sql.functions import split, sequence, concat_ws, col, concat, lit

spark = SparkSession.builder.appName("range_expand_demo").getOrCreate()

# 测试数据和样例一致，区间带外层括号
test_df = spark.createDataFrame([("(1-3)",), ("(1-5)",)], ["range_col"])

步骤2：执行转换逻辑 #

result_df = test_df.withColumn("range_content", split(col("range_col"), "[()]")[1]) \  # 提取括号内的区间内容
                   .withColumn("start_num", split(col("range_content"), "-")[0].cast("int")) \  # 拆分起始值
                   .withColumn("end_num", split(col("range_content"), "-")[1].cast("int")) \  # 拆分结束值
                   .withColumn("num_sequence", sequence(col("start_num"), col("end_num"))) \  # 生成连续整数序列
                   .withColumn("final_val", concat(lit("("), concat_ws(",", col("num_sequence")), lit(")"))) \  # 拼接为要求格式
                   .select("range_col", "final_val")  # 保留原始字段和结果字段

# 查看结果
result_df.show(truncate=False)

执行后输出：

+---------+---------------+
|range_col|final_val      |
+---------+---------------+
|(1-3)    |(1,2,3)        |
|(1-5)    |(1,2,3,4,5)    |
+---------+---------------+

方案2：UDF实现（适合自定义逻辑场景） #

如果需要处理异常格式、自定义步长等特殊规则，用UDF写法更灵活。

from pyspark.sql.functions import udf
from pyspark.sql.types import StringType

# 自定义转换逻辑
def range_to_expand_str(range_str):
    # 去除括号后拆分起止值
    pure_range = range_str.strip("()")
    s, e = map(int, pure_range.split("-"))
    # 生成序列拼接
    expand = ",".join(str(i) for i in range(s, e + 1))
    return f"({expand})"

# 注册UDF
expand_udf = udf(range_to_expand_str, StringType())

# 调用处理
result_df = test_df.withColumn("final_val", expand_udf(col("range_col")))

注意事项 #

• 如果原始区间没有外层括号，直接是1-3格式，删除代码中处理括号的相关逻辑即可。
• 若存在非法格式（比如非数字区间、起止值颠倒），可在UDF中添加异常判断逻辑，返回默认值避免任务失败。
• 数据量大于100万行时优先选择内置函数方案，避免UDF带来的额外序列化开销。

内容的提问来源于stack exchange，提问作者amit