PySpark中从字符串数组获取最大值报错求助

错误原因 #

你导入的max是Spark SQL的聚合函数，它仅能处理Spark DataFrame的列对象，无法直接接收Python原生列表作为参数，这就是报错的核心原因。

解决方案 #

方案1：直接用Python内置函数（无需Spark） #

如果只是单纯获取Python列表的最大值，直接使用Python原生的max()函数即可，不需要动用Spark：

new_array = ['00', '01', '02', '03', '04', '05', '06', '07', '08', '09', '10', '11', '12', '13', '17', '18', '19', '20', '22']
max_value = max(new_array)
print(max_value)  # 输出结果：'22'

方案2：用Spark处理（适合后续大数据操作） #

如果需要结合Spark的数据流操作，需先将Python列表转为Spark可识别的结构，再用Spark的函数计算最大值：

from pyspark.sql import SparkSession
from pyspark.sql import functions as F

# 初始化SparkSession（必须步骤，你之前的代码缺少这部分）
spark = SparkSession.builder.appName("GetArrayMax").getOrCreate()

new_array = ['00', '01', '02', '03', '04', '05', '06', '07', '08', '09', '10', '11', '12', '13', '17', '18', '19', '20', '22']

# 方式A：将数组作为单列存入DataFrame，用array_max取最大值
df = spark.createDataFrame([(new_array,)], ["num_array"])
df.select(F.array_max(F.col("num_array")).alias("max_value")).show()

# 方式B：将数组元素拆分为多行，用max聚合函数取最大值
df2 = spark.createDataFrame([(val,) for val in new_array], ["num"])
df2.agg(F.max("num").alias("max_value")).show()

两种Spark方式的输出结果都是：

+---------+
|max_value|
+---------+
|       22|
+---------+

内容的提问来源于stack exchange，提问作者Shailendra Kumar