Pyspark调用DataFrame的show方法触发Py4JJavaError如何解决？

报错核心原因是MinMaxScaler的输出列targetstep_scaled为DenseVector向量类型，即便输入仅包含1列，输出也会是长度为1的向量而非数值标量，直接将该列传入UDF执行int()转换时，参数类型不匹配触发报错。

两种可行方案如下：

• 方案1：使用内置函数先提取向量中的标量值再传入UDF（Spark 3.0及以上版本适用）

from pyspark.sql.functions import vector_to_array, col

df2 = spark.sql(sql_text)
assembler = VectorAssembler(inputCols=["targetstep"], outputCol="x_vec")
scaler = MinMaxScaler(inputCol="x_vec", outputCol="targetstep_scaled")
pipeline = Pipeline(stages=[assembler, scaler])
scalerModel = pipeline.fit(df2)
df2 = scalerModel.transform(df2)
# 先将向量转为数组，提取第一个元素作为标量值
df2 = df2.withColumn("scalar_val", vector_to_array(col("targetstep_scaled"))[0])
# 传入标量值给UDF计算
df2 = df2.withColumn('targetstep',target_udf(col('scalar_val'))).drop('x_vec', 'targetstep_scaled', 'scalar_val')
df2.show()

• 方案2：修改自定义UDF逻辑，在UDF内部先提取向量的数值
  如果不方便调整外部处理逻辑，直接修改UDF即可，示例如下：

# 原错误UDF写法示例
# def convert_target(val):
#     return int(val * 100)
# target_udf = udf(convert_target)

# 修正后的UDF写法
def convert_target(vec):
    # 先提取长度为1的向量中的第一个数值
    val = vec[0]
    return int(val * 100)
target_udf = udf(convert_target)

内容的提问来源于stack exchange，提问作者yu song