在Google Colab中安装PySpark报错：TypeError: an integer is required (got type bytes)

错误根源 #

1. 版本不兼容：Spark 2.3.1属于老旧版本，无法适配Colab当前默认的Python 3.8+环境，其内置的cloudpickle模块在处理types.CodeType时参数格式不匹配，触发类型错误。
2. 路径拼写错误：配置SPARK_HOME时，路径中的haoop为拼写错误，正确应为hadoop。

适配Colab的完整配置步骤 #

使用Spark 3.3.1版本（兼容Python 3.8+），执行以下代码完成配置：

# 更新系统依赖并安装OpenJDK 8
!apt-get update
!apt-get install openjdk-8-jdk-headless -qq > /dev/null

# 下载并解压Spark 3.3.1预编译包
!wget -q https://dlcdn.apache.org/spark/spark-3.3.1/spark-3.3.1-bin-hadoop3.tgz
!tar xf spark-3.3.1-bin-hadoop3.tgz

# 安装findspark工具
!pip install -q findspark

# 设置环境变量
import os
os.environ["JAVA_HOME"] = "/usr/lib/jvm/java-8-openjdk-amd64"
os.environ["SPARK_HOME"] = "/content/spark-3.3.1-bin-hadoop3"

# 初始化PySpark并验证
import findspark
findspark.init()

# 创建SparkSession（推荐替代SparkContext的方式）
from pyspark.sql import SparkSession
spark = SparkSession.builder.master("local[*]").getOrCreate()

# 验证配置成功
print("Spark版本:", spark.version)
# 测试基础功能
test_df = spark.createDataFrame([(1, "示例1"), (2, "示例2")], ["id", "内容"])
test_df.show()

注意事项 #

• 避免使用Spark 2.x早期版本，优先选择3.x系列版本以适配Colab的Python环境
• 配置环境变量时务必检查路径拼写，确保SPARK_HOME指向正确的Spark解压目录
• 推荐使用SparkSession替代SparkContext，这是Spark 2.x及以后版本的标准API

内容的提问来源于stack exchange，提问作者GS316