PySpark UDF中使用Python max()函数报错：TypeError问题求助

出现这个差异的核心原因是你在PySpark UDF中误用了Spark的聚合函数max，而非Python内置的max函数，具体细节如下：

• 命名空间冲突：
  当你在PySpark代码中使用from pyspark.sql.functions import *这类通配符导入，或者显式导入了max，Spark提供的max聚合函数会覆盖Python全局命名空间中的内置max函数。而在普通Python解释器中，你没有导入这个Spark函数，自然使用的是内置版本。

• 两个max函数的本质差异：

  • Python内置max：是处理可迭代对象的内置函数，支持key关键字参数，用于指定每个元素的排序依据函数，这也是你在本地Python环境中代码正常运行的原因。
  • Spark的pyspark.sql.functions.max：是用于DataFrame列的聚合函数，仅接受Column类型对象作为参数，根本没有key这个关键字参数，所以调用时传入key会直接触发TypeError。

• 快速验证方法：
  在你的UDF内部添加一行代码打印max的类型：

  print(type(max))
  

  如果输出是<class 'pyspark.sql.functions._FunctionGenerator'>，说明你确实在使用Spark的max；如果输出是<class 'builtin_function_or_method'>，才是Python内置的max。

• 修复方案：

  1. 避免通配符导入：改用显式导入需要的Spark函数，比如from pyspark.sql.functions import col, sum，不要导入max。
  2. 给Spark的max加别名：如果必须导入，可通过别名区分，比如from pyspark.sql.functions import max as spark_max。
  3. 明确调用内置max：在UDF中通过builtins模块调用，比如：

     import builtins
     param = builtins.max(val, key=val.count)
     

内容的提问来源于stack exchange，提问作者AngiSen