如何为PySpark DataFrame添加100个1-10000的随机数列？

核心思路 #

利用PySpark内置的rand()函数生成0到1之间的随机浮点数，通过数学变换将范围映射到1-10000，再批量生成100个这样的列添加到DataFrame中。

代码实现 #

1. 导入必要函数

from pyspark.sql.functions import rand, floor

2. 批量生成随机列（通用版本，兼容所有PySpark版本）

假设你的原始DataFrame名为df，可以通过列表推导式生成100个随机列的表达式，再用select方法一次性添加：

# 生成100个随机列的表达式，列名格式为random_col_1到random_col_100
random_columns = [
    (floor(rand() * 10000) + 1).alias(f"random_col_{i}")
    for i in range(1, 101)
]

# 添加随机列到原始DataFrame
df_with_random = df.select("*", *random_columns)

3. 更简洁的写法（PySpark 3.3+版本可用）

PySpark 3.3及以上版本支持withColumns方法，可以传入列名与表达式的字典来批量添加列：

random_cols_dict = {
    f"random_col_{i}": floor(rand() * 10000) + 1
    for i in range(1, 101)
}

df_with_random = df.withColumns(random_cols_dict)

4. 循环逐个添加（适合旧版本或需要更精细控制的场景）

如果使用的PySpark版本较低，也可以通过循环逐个调用withColumn：

df_with_random = df
for i in range(1, 101):
    df_with_random = df_with_random.withColumn(
        f"random_col_{i}",
        floor(rand() * 10000) + 1
    )

关键细节说明 #

• 范围映射逻辑：rand()生成[0,1)的浮点数，乘以10000后得到[0,10000)的范围，floor()取整得到0-9999的整数，加1后转为1-10000的目标范围。
• 可复现性：如果需要每次运行生成相同的随机数，给rand()传入固定种子即可，例如rand(seed=42)。
• 列名自定义：可以根据需求修改列名格式，比如把random_col_{i}换成permuted_col_{i}等。

内容的提问来源于stack exchange，提问作者cnns