PySpark为DataFrame新增列时如何生成每行唯一的UUID值

你最初写的实现有核心逻辑问题：uuid.uuid4()只会在本地Python驱动端执行1次，生成固定UUID字符串后通过f.lit()作为常量列下发到所有计算节点，最终全表所有行的uuid值完全相同，根本满足不了唯一值要求。

你提到的create_map类实现本质是逐行在Python层跑生成逻辑，需要在Python和JVM之间做大量数据序列化，性能很差，不是最优选择，优先用下面的方案：

方案1：Spark内置函数实现（性能最优，首选） #

Spark 3.1及以上版本原生提供uuid()内置SQL函数，直接在JVM端为每一行生成符合v4规范的唯一UUID，没有跨进程序列化开销，是所有实现里性能最高的，哪怕是分布式多分区场景下也不会出重复值。
实现代码：

from pyspark.sql import functions as f

df = df.withColumn("uuid", f.expr("uuid()"))

方案2：低版本Spark兼容方案（Pandas UDF实现） #

如果你的Spark版本低于3.1，没有内置uuid函数，可以用向量化的Pandas UDF实现，性能比普通Python UDF、create_map/rdd.map逐行生成的方案高3到10倍：

import uuid
import pandas as pd
from pyspark.sql import functions as f

@f.pandas_udf("string")
def batch_generate_uuid(batch_iter):
    # 按批次生成uuid，压低序列化开销
    for batch in batch_iter:
        yield pd.Series([str(uuid.uuid4()) for _ in range(len(batch))])

# 传入任意常量列作为占位入参即可
df = df.withColumn("uuid", batch_generate_uuid(f.lit(1)))

踩坑提醒：所有套在f.lit()里的动态值生成逻辑都只会在驱动端执行一次，根本做不到每行动态生成值，这类场景别用f.lit()包裹生成逻辑。

内容的提问来源于stack exchange，提问作者Smaillns