如何在调用PySpark UDF时传递两个自定义参数？

在PySpark中调用带多参数的UDF时，要根据参数类型（常量/列）选择不同的传递方式，以下是具体实现：

情况1：参数是固定常量 #

如果x和y是固定的常量值（比如字符串、数字），需要用lit()函数将其转换为PySpark可识别的列表达式，否则会被误判为列名导致报错。示例代码：

from pyspark.sql.functions import udf, lit
from pyspark.sql.types import StringType

# 定义接收字符串列、两个参数的UDF
@udf(returnType=StringType())
def my_udf(str_col, x, y):
    # 替换为你的业务逻辑，示例为拼接字符串
    return f"{str_col}_{x}_{y}"

# 调用UDF，传递常量参数（用lit()包装）
df = df.withColumn("new_col_name", my_udf(df.col, lit("固定值x"), lit(123)))

情况2：参数是DataFrame中的其他列 #

如果x和y是当前DataFrame里的其他列，直接传入列对象即可，无需额外处理：

# 假设df包含col、x_col、y_col三列
df = df.withColumn("new_col_name", my_udf(df.col, df.x_col, df.y_col))

关键说明 #

PySpark UDF的参数必须是列对象，所以常量需要通过lit()包装成虚拟列，才能被UDF正确识别和处理。

内容的提问来源于stack exchange，提问作者Rakesh Kushwaha