Apache Spark 2.2.1中RowMatrix报'NoneType'无'sc'属性错误求助

你在Spark 2.2.1版本的PySpark（IDE用的是Jupyter Notebook）里尝试用RowMatrix计算相似度，结果碰到了AttributeError: 'NoneType' object has no attribute 'sc'的错误对吧？我帮你捋捋问题原因和解决办法：

错误原因 #

这个报错核心问题是SparkContext（也就是我们常说的sc）没有被正确初始化，或者你创建的RowMatrix实例找不到有效的Spark上下文。在Jupyter Notebook环境里，很容易因为初始化步骤不全、配置错误，甚至变量覆盖导致sc变成None，进而让RowMatrix这类分布式组件无法正常工作。

具体解决步骤 #

1. 确保Spark上下文正确初始化

在Jupyter里，不要只导入类就直接写业务代码，先把Spark环境搭好。推荐用SparkSession（Spark 2.x之后的标准方式）来初始化，代码示例：

from pyspark import SparkConf
from pyspark.sql import SparkSession
from pyspark.mllib.linalg.distributed import RowMatrix
from pyspark.mllib.linalg import Vectors

# 配置Spark参数，把你之前截断的配置补全
conf = SparkConf().setAll([
    ('spark.app.name', 'RowMatrixSimilarityDemo'),
    ('spark.executor.memory', '3g'),
    # 比如补充 executor cores 这类参数，确保配置项完整
    ('spark.executor.cores', '2')
])

# 创建或复用SparkSession
spark = SparkSession.builder.config(conf=conf).getOrCreate()
# 获取SparkContext
sc = spark.sparkContext

如果是本地测试，还可以在配置里加上.setMaster("local[*]")，让Spark用本地所有核心运行；如果是集群环境，替换成集群的master地址就行。

2. 检查RowMatrix的创建逻辑

RowMatrix必须基于一个关联到有效sc的RDD向量集，不能传空值或者无效的RDD。比如正确的创建方式：

# 构造示例数据RDD
data_rdd = sc.parallelize([
    Vectors.dense([1.2, 3.4, 5.6]),
    Vectors.dense([7.8, 9.0, 2.3]),
    Vectors.dense([4.5, 6.7, 8.9])
])

# 创建RowMatrix实例
row_matrix = RowMatrix(data_rdd)

# 计算相似度（比如列余弦相似度）
similarity_matrix = row_matrix.columnSimilarities()
# 打印结果
similarity_matrix.entries.collect()

如果你之前的RDD是None，或者创建RDD时没有用正确的sc，就会触发报错。

3. 排查代码截断的部分

你提供的代码里conf = pyspark.SparkConf().setAll([('spark.executor.memory', '3g'), ('spark.executor.c...是截断状态，一定要把配置项写完整，比如spark.executor.cores、spark.driver.memory这类参数，配置不完整可能导致SparkContext初始化失败，最终sc变成None。

额外注意事项 #

• 如果你是通过pyspark命令直接启动Jupyter Notebook，那么SparkContext和SparkSession应该已经自动初始化好了，这时候要检查是不是你在代码里不小心覆盖了sc变量（比如重新赋值成了None）。
• Spark 2.x中尽量避免直接创建SparkContext，用SparkSession来管理上下文可以减少冲突，尤其是在Jupyter这种交互式环境里。

内容的提问来源于stack exchange，提问作者Augustin S