PySpark绘制Regplot遇SparseVector序列化错误的解决问询

问题根源 #

Plotly无法直接序列化PySpark的SparseVector/DenseVector类型，这些是Spark自定义的数据结构，不属于Python原生可JSON序列化的类型。哪怕转换成DenseVector，只要还是Spark的向量对象，依然会报错——必须将其转换为Python原生的数值或列表类型，或者直接避开向量列，绘制线性回归常用的真实值vs预测值回归图。

方案1：绘制真实值与预测值的回归图（推荐） #

这是线性回归任务中最常用的评估可视化方式，无需处理特征向量：

1. 通过训练好的线性回归模型生成预测结果：

# 假设你的线性回归模型为lr_model，输入DataFrame为train_df
pred_df = lr_model.transform(train_df)

2. 提取真实标签列和预测列，转换为Pandas DataFrame（Plotly对Pandas支持更友好）：

pandas_df = pred_df.select("label", "prediction").toPandas()

3. 用Plotly绘制回归图：

import plotly.express as px

fig = px.scatter(pandas_df, x="label", y="prediction", trendline="ols")
fig.update_layout(title="真实值vs预测值回归图", xaxis_title="真实标签", yaxis_title="预测值")
fig.show()

方案2：提取单个特征绘制特征vs标签的回归图 #

如果需要针对某个特征绘制回归图，需从SparseVector中提取对应特征的数值：

1. 定义UDF提取指定索引的特征值：

from pyspark.sql.functions import udf
from pyspark.sql.types import FloatType
from pyspark.ml.linalg import Vector

# 提取第0个特征（可根据需求修改索引值）
extract_feature_udf = udf(lambda vec: vec[0], FloatType())

2. 将提取后的特征列加入原DataFrame：

df = df.withColumn("target_feature", extract_feature_udf("Independent_Features"))

3. 转换为Pandas并绘图：

pandas_df = df.select("target_feature", "label").toPandas()

import plotly.express as px
fig = px.scatter(pandas_df, x="target_feature", y="label", trendline="ols")
fig.update_layout(title="特征vs标签回归图", xaxis_title="目标特征", yaxis_title="标签")
fig.show()

方案3：将向量转换为Python列表（多特征场景） #

如果需要处理多特征向量，可将其转换为Python原生列表：

from pyspark.sql.functions import udf
from pyspark.sql.types import ArrayType, FloatType
from pyspark.ml.linalg import Vector

vec_to_list_udf = udf(lambda vec: vec.toArray().tolist(), ArrayType(FloatType()))
df = df.withColumn("features_list", vec_to_list_udf("Independent_Features"))

转换后可根据需求提取列表中的元素，再进行可视化操作。

内容的提问来源于stack exchange，提问作者Abraham Chandy