PySpark导入异常问题：环境配置完成后仍无法导入SparkSession

Hey，这个问题我之前帮朋友排查过，核心原因是Spark 2.4.0和你当前使用的Python版本不兼容——Spark 2.4.x是比较早期的版本，它内置的cloudpickle模块无法适配Python 3.8及以上版本，报错里的types.CodeType参数问题就是Python版本升级后API变化引发的。另外你提到cmd里Spark能正常运行，大概率是cmd使用的Python版本和你venv虚拟环境里的版本不一致。

给你几个靠谱的解决办法，按优先级排序：

1. 降级Python到3.7版本（最稳妥） #

Spark 2.4.x官方支持的Python版本是2.7、3.4-3.7，把虚拟环境换成Python3.7就能直接解决问题：

• 先删除当前的venv文件夹
• 用Python3.7创建新虚拟环境：python3.7 -m venv venv
• 激活环境后重新安装依赖，再运行代码即可

2. 升级Spark到3.x版本（长远推荐） #

如果不想降级Python，建议直接升级到Spark 3.0及以上的稳定版（比如3.0.1、3.1.2），Spark 3.x开始全面支持Python3.8+，能完美避开这个cloudpickle的兼容性坑：

• 下载对应Hadoop版本的Spark 3.x安装包
• 更新环境变量里的SPARK_HOME到新的Spark路径
• 重启IDE和终端，确保环境变量生效后再运行代码

3. 替换Spark内置的cloudpickle（临时救急） #

如果暂时没法修改版本，可以试试这个临时补丁，但不推荐长期使用：

• 先在虚拟环境安装新版cloudpickle：pip install cloudpickle==2.2.1
• 找到Spark安装目录下的python/pyspark/cloudpickle.py，重命名为cloudpickle_old.py做备份
• 从你的venv环境的site-packages/cloudpickle目录里复制cloudpickle.py到Spark的python/pyspark/目录下

验证小技巧 #

不管选哪个方案，先在终端确认版本匹配：

# 查看Python版本
python --version
# 查看PySpark版本
pyspark --version

确认版本兼容后，再运行你的代码：

from pyspark.sql import SparkSession
spark = SparkSession.builder \
    .config("spark.hadoop.hive.exec.dynamic.partition", "true") \
    .config("spark.hadoop.hive.exec.dynamic.partition.mode", "nonstrict") \
    .enableHiveSupport() \
    .getOrCreate()

内容的提问来源于stack exchange，提问作者Max