PySpark创建UDF时lambda的使用场景及必要性说明

1. lambda不是UDF定义的必要项 #

你当前的写法是完全合法的标准UDF实现。UDF的逐行处理能力是Spark UDF本身的内置特性，只要你将Python函数通过@udf装饰器或者udf()方法包装为UDF类型，Spark就能自动识别并对DataFrame的每行数据执行对应逻辑，和是否使用lambda没有任何关系，你之前的认知存在错误。
另外补充你示例代码的小问题：原代码中if s == 'KS' and 'MI'的写法逻辑有误，这个判断永远会返回真，因为非空字符串'MI'在Python中是布尔真值，你要实现「s等于KS或者MI时返回Unknown」的逻辑，需要修改为if s in ('KS', 'MI')。

2. 用lambda实现相同功能的写法 #

lambda是Python的匿名函数，仅适合单行逻辑的简单场景，你可以直接将lambda传入udf()方法完成UDF定义，代码如下：

from pyspark.sql.functions import udf, col

# 直接用lambda定义匿名函数，包装为UDF，指定返回值类型为string
unknown_city_lambda = udf(lambda s, city: 'Unknown' if s in ('KS', 'MI') else city, "string")

# 调用方式和你之前的具名函数UDF完全一致
display(df2.withColumn("new_city", unknown_city_lambda(col('geo.state'), col('geo.city'))))

3. 两种写法的适用场景 #

• 逻辑非常简单、仅需单行表达式即可实现的UDF，用lambda写法可以让代码更紧凑，减少冗余的函数定义
• 逻辑复杂、需要多行判断、循环、异常处理、注释说明的场景，更推荐用def定义具名函数，可读性、可维护性更高，也更方便后续调试和复用

内容的提问来源于stack exchange，提问作者Agus Velazquez