如何在PySpark DataFrame中并行对多列执行UDF

首先明确：Spark的执行计划会自动优化，你当前连续调用withColumn的写法，最终会被合并为单个Stage并行执行，并不会真的按顺序逐列处理。不过如果想让代码更简洁，或者从写法上明确批量处理列，有以下几种方式：

1. 用select结合列表推导式批量应用UDF #

直接在select中一次性定义所有需要处理的列，包括保留不需要修改的Country列，同时对目标列批量应用UDF：

from pyspark.sql.functions import col

df = df.select(
    "Country",
    *[num_udf(col(c)).alias(c) for c in ["col1", "col2", "col3"]]
)

这种写法会一次性生成所有列的计算表达式，Spark执行时会并行处理这些无依赖的列计算，和你原来的写法性能一致，但代码更简洁。

2. 优先用Spark内置函数替代UDF（更高效） #

既然你的需求是把数值格式化为保留两位小数的字符串，完全不需要自定义UDF——Spark内置的format_number函数就能直接实现，而且避免了UDF带来的Python-JVM序列化开销，性能更优：

from pyspark.sql.functions import format_number, col

df = df.select(
    "Country",
    *[format_number(col(c), 2).alias(c) for c in ["col1", "col2", "col3"]]
)

format_number(col, 2)会自动将数值转换为xx.xx格式的字符串，效果和你的UDF完全一致，同样是并行处理列。

补充说明 #

不管是哪种写法，只要列之间没有依赖关系，Spark都会自动并行处理它们的计算。你原来的连续withColumn写法，Spark优化器会自动合并操作，不会真的逐列串行执行，所以性能上和批量写法差异不大，但批量写法更易维护。

内容的提问来源于stack exchange，提问作者Dhimant vyas