Google Colab中PySpark安装失败求助：原可用脚本突发报错

问题根源 #

你的报错核心是Spark安装包未成功下载：

• wget -q是静默模式，下载失败不会输出任何提示，导致后续tar命令找不到要解压的文件。
• 解压失败后，/content/spark-3.5.0-bin-hadoop3目录要么不存在，要么内容不完整，最终findspark找不到必需的py4j文件，抛出索引错误。

修复方案 #

方案1：修复手动下载流程 #

替换原安装代码，去掉wget的静默模式，确保能看到下载状态，同时确保Java环境正常：

# 确保Java 11已安装
!apt-get install openjdk-11-jdk-headless -qq > /dev/null
# 下载Spark安装包（去掉静默模式，查看下载日志）
!wget https://dlcdn.apache.org/spark/spark-3.5.0/spark-3.5.0-bin-hadoop3.tgz
# 解压安装包
!tar xf spark-3.5.0-bin-hadoop3.tgz
# 安装findspark
!pip install -q findspark

然后设置环境变量并初始化：

import os
os.environ["JAVA_HOME"] = "/usr/lib/jvm/java-11-openjdk-amd64"
os.environ["SPARK_HOME"] = "/content/spark-3.5.0-bin-hadoop3"

import findspark
findspark.init()

如果官方镜像下载失败，可替换为国内镜像源：

!wget https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.5.0/spark-3.5.0-bin-hadoop3.tgz

方案2：直接安装pyspark包（更简便） #

Colab支持直接通过pip安装pyspark，无需手动下载解压Spark，自动处理所有依赖：

!pip install pyspark

直接初始化SparkSession即可使用：

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .master("local[*]") \
    .appName("Colab Spark Demo") \
    .getOrCreate()

# 验证是否成功
spark.range(5).show()

关键注意点 #

• 避免使用wget -q这类静默命令，排查问题时保留日志输出能快速定位下载失败原因。
• 确认SPARK_HOME指向的目录确实存在且包含完整的Spark文件，否则findspark无法正常初始化。

内容的提问来源于stack exchange，提问作者Maria Zgheib