在Google Colab部署PySpark时wget下载Spark包卡住求助

之前你用以下代码在Colab部署PySpark全程不到10秒：

!apt-get install openjdk-8-jdk-headless -qq > /dev/null
!wget -q https://archive.apache.org/dist/spark/spark-3.2.0/spark-3.2.0-bin-hadoop3.2.tgz
!tar xf spark-3.2.0-bin-hadoop3.2.tgz
!pip install -q findspark

现在卡在!wget -q https://archive.apache.org/dist/spark/spark-3.2.0/spark-3.2.0-bin-hadoop3.2.tgz这一步，超时超30分钟，给你几个实用的解决办法：

• 更换下载源：Apache官方镜像可能在Colab节点访问不稳定，换成国内镜像源，比如清华镜像，替换wget命令：

  !wget -q https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.2.0/spark-3.2.0-bin-hadoop3.2.tgz
  

• 给wget加超时和重试参数：避免因网络波动一直卡住，修改命令为：

  !wget -q --timeout=30 --tries=5 https://archive.apache.org/dist/spark/spark-3.2.0/spark-3.2.0-bin-hadoop3.2.tgz
  

  这里设置30秒超时，最多重试5次，失败后会自动终止，不会无限等待。

• 重启或切换Colab运行时：点击顶部菜单栏「Runtime」→「Restart runtime」，清空当前运行时的资源占用后重新执行代码；也可以切换运行时类型（比如CPU换GPU），不同节点的网络状况可能不同。

• 手动上传Spark包：如果上述方法都不行，先在本地下载spark-3.2.0-bin-hadoop3.2.tgz，然后通过Colab左侧「文件」面板上传到根目录，跳过wget步骤直接执行解压命令。

附完整的替代部署代码（用清华镜像+环境变量配置，新手更稳妥）：

!apt-get install openjdk-8-jdk-headless -qq > /dev/null
!wget -q https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.2.0/spark-3.2.0-bin-hadoop3.2.tgz
!tar xf spark-3.2.0-bin-hadoop3.2.tgz
!pip install -q findspark

# 配置Spark和Java环境变量
import os
os.environ["JAVA_HOME"] = "/usr/lib/jvm/java-8-openjdk-amd64"
os.environ["SPARK_HOME"] = "/content/spark-3.2.0-bin-hadoop3.2"

import findspark
findspark.init()

内容的提问来源于stack exchange，提问作者Ashkan S