Spark3.1.1中为何expr调用aggregate生效，functions调用却报错？

• 核心原因是Spark 3.1.1版本的PySpark API不支持在f.aggregate中直接使用Python lambda表达式。该版本的pyspark.sql.functions.aggregate函数在设计上未实现对Python lambda的解析逻辑，lambda无法被正确转换为Spark JVM端可识别的表达式，进而触发UnresolvedNamedLambdaVariable.freshVarName相关错误——PySpark无法将lambda内的变量映射到Spark Catalyst的内部变量结构。

• 而f.expr('aggregate(new_col, 0L, (acc,x) -> acc+x)')能正常运行，是因为这种写法直接传递Spark SQL原生的表达式字符串，Spark可以直接解析执行，不需要处理Python到JVM的lambda转换流程。

• 补充：这个问题在Spark 3.2及以上版本已被修复，后续版本的PySpark完善了aggregate函数对Python lambda的支持，升级到3.2+版本后，使用lambda的写法即可正常工作。

内容的提问来源于stack exchange，提问作者s510