PySpark实现将数据行重复N次并添加唯一ID列

要实现这个需求，有两种高效的方案，具体如下：

方案1：用sequence+explode（推荐，简洁高效） #

这种方式无需额外关联操作，直接通过生成序列数组再展开，就能快速得到结果。

代码示例：

from pyspark.sql import functions as F

# 假设你的原DataFrame叫df，n是需要重复的次数
n = 5

# 给每行生成包含0到n-1的数组，再把数组拆成单独的行，同时得到对应ID
result_df = df.withColumn("id", F.explode(F.sequence(F.lit(0), F.lit(n-1))))

原理很直观：sequence(0, n-1)会生成[0,1,...,n-1]的数组，explode会把数组里的每个元素拆成独立行，这样原DataFrame的每一行就自动重复n次，每行对应一个0到n-1的唯一ID。这种方法性能最优，尤其是n较大的时候。

方案2：用crossJoin+临时序列表 #

如果需要自定义ID序列（比如非连续整数），可以先建一个包含目标ID的临时表，再和原表做交叉关联。

代码示例：

from pyspark.sql import SparkSession

spark = SparkSession.builder.getOrCreate()

n = 5
# 创建包含0到n-1的临时DataFrame
temp_df = spark.range(n).withColumnRenamed("id", "repeat_id")

# 交叉关联后，原表每行都会和临时表的n行匹配，实现重复
result_df = df.crossJoin(temp_df)

这种方法逻辑直白，但如果原表数据量极大，性能会比第一种稍差一点，毕竟多了一步关联操作。

验证结果是否符合要求 #

可以用下面的代码确认结果：

# 检查新表行数是否是原表的n倍
print(f"原表行数: {df.count()}, 新表行数: {result_df.count()}")

# 去掉ID列后去重，行数应该和原表一致
print(f"去ID列后去重行数: {result_df.drop('id').distinct().count()}")

内容的提问来源于stack exchange，提问作者eugenefraxby