PySpark计算DataFrame向量相关性时遇setCallSite属性错误求助

你遇到的这个AttributeError: 'NoneType' object has no attribute 'setCallSite'错误，本质是SparkSession没有正确初始化，导致后续调用head()/collect()时无法找到有效的Spark上下文。结合你的代码，我整理了几个关键修复点：

1. 修复导入语法错误 #

你的代码里把两个from语句写在同一行，这是Python语法错误，会导致模块导入不完整，间接影响Spark上下文的加载：

# 错误写法
from pyspark.ml.linalg import Vectors from pyspark.ml.stat import Correlation

# 正确写法，拆分两行
from pyspark.ml.linalg import Vectors
from pyspark.ml.stat import Correlation

2. 调整导入顺序并正确初始化SparkSession #

建议先导入PySpark核心模块，再导入ML相关组件，同时给SparkSession添加appName（这是PySpark开发的最佳实践），确保初始化的Session有效：

# 先导入PySpark核心模块
import pyspark
from pyspark.ml.linalg import Vectors
from pyspark.ml.stat import Correlation

# 正确构建SparkSession，链式调用保持清晰
spark = pyspark.sql.SparkSession.builder \
    .master("local[*]") \
    .appName("VectorCorrelationDemo") \
    .getOrCreate()

# 可选：提前验证Session是否初始化成功，快速排查问题
assert spark is not None, "SparkSession初始化失败，请检查环境配置"

3. 完整修正后的代码 #

把这些修复整合后，完整可运行的代码如下：

import pyspark
from pyspark.ml.linalg import Vectors
from pyspark.ml.stat import Correlation

# 初始化SparkSession
spark = pyspark.sql.SparkSession.builder \
    .master("local[*]") \
    .appName("VectorCorrelationExample") \
    .getOrCreate()

# 创建测试数据
data = [(Vectors.sparse(4, [(0, 1.0), (3, -2.0)]),),
        (Vectors.dense([4.0, 5.0, 0.0, 3.0]),)]
df = spark.createDataFrame(data, ["features"])

# 计算皮尔逊相关矩阵
r1 = Correlation.corr(df, "features").head()
print("Pearson correlation matrix:\n" + str(r1[0]))

# 使用完毕后关闭Session（可选，根据运行环境需求决定）
spark.stop()

额外排查点 #

如果还是出现类似错误，可以检查：

• 如果你在Jupyter Notebook环境中，尝试重启内核后重新运行代码，避免之前的Session残留问题。
• 确认你的PySpark版本在2.3及以上，pyspark.ml.stat.Correlation是从Spark 2.3版本开始引入的。
• 检查本地Spark环境配置是否正常，比如SPARK_HOME环境变量是否正确设置。

内容的提问来源于stack exchange，提问作者Léo SOHEILY KHAH