设置PYSPARK_SUBMIT_ARGS致SparkContext创建失败，Debian9下Spark2.2.0运行pytest报错

我之前在Debian 9环境部署Spark 2.2.0时也碰到过几乎一模一样的问题，结合踩过的坑，给你几个针对性的解决步骤：

1. 先锁定Java版本（Spark 2.2.0的硬要求） #

Spark 2.2.0不兼容Java 9及以上版本，这是很多人踩坑的起点：

• 运行java -version确认当前Java版本，如果显示是Java 9+，立刻切换到OpenJDK 8：

  sudo apt-get install openjdk-8-jdk
  sudo update-alternatives --config java
  

  选择对应的OpenJDK 8选项即可。

2. 修正PYSPARK_SUBMIT_ARGS的设置 #

这个环境变量的格式和内容直接决定SparkContext能否正常启动，核心注意点：

• 必须以pyspark-shell结尾：这是Spark Python网关识别的必要标识，很多人会漏掉或者写成其他内容，正确的最简设置是：

  export PYSPARK_SUBMIT_ARGS="--master local[2] pyspark-shell"
  

• 先清空错误的设置：如果之前设置过错误的参数，先执行unset PYSPARK_SUBMIT_ARGS，再重新设置最简版本测试。
• 避免多余参数：不要在这个变量里添加--jars、--packages这类可能引入依赖冲突的参数，先确保基础环境能跑通，再逐步添加自定义依赖。

3. 调整pytest测试的SparkContext初始化方式 #

在pytest中不要随意硬编码环境变量，建议用模块级的setup/teardown来管理：

import os
from pyspark import SparkContext

def setup_module(module):
    # 重置环境变量为最简配置
    os.environ['PYSPARK_SUBMIT_ARGS'] = '--master local[2] pyspark-shell'
    # 使用单例模式创建SparkContext
    global sc
    sc = SparkContext.getOrCreate()

def teardown_module(module):
    # 测试结束后停止SparkContext
    if sc:
        sc.stop()

这样能避免重复创建上下文导致的网关冲突。

4. 排查Debian 9的系统权限问题 #

• 确保Spark安装目录的权限正确：

  sudo chown -R $USER:$USER /path/to/your/spark-2.2.0
  

• 不要用root用户运行pytest：Spark默认会限制root用户启动，用普通用户运行测试即可，如果必须用root，需要修改spark-env.sh添加export SPARK_SUPERUSER=$USER。

验证步骤 #

先跑一个最简单的Python脚本验证环境是否正常：

from pyspark import SparkContext
sc = SparkContext("local", "TestApp")
print(f"Spark版本：{sc.version}")
sc.stop()

如果这个脚本能正常输出Spark版本，再运行pytest测试，问题大概率能解决。

内容的提问来源于stack exchange，提问作者Jytug