在Google Colab中无法解压Spark的.tgz文件如何解决?
解决Spark压缩包解压报错问题
问题情况
以下命令可正常执行:
# 下载Java虚拟机(JVM) !apt-get install openjdk-8-jdk-headless -qq > /dev/null !wget -q https://dlcdn.apache.org/spark/spark-3.3.0/spark-3.3.0-bin-hadoop3.tgz
但执行解压命令时出现报错:
!tar xf spark-3.3.0-bin-hadoop3.tgz
错误提示如下:
gzip: stdin: not in gzip format
tar: Child returned status 1
tar: Error is not recoverable: exiting now
已通过!pwd确认,压缩包与当前工作目录处于同一位置。
解决办法
- 先检查文件完整性:执行
!ls -lh spark-3.3.0-bin-hadoop3.tgz查看文件大小,该压缩包正常大小约280MB,若文件大小差距过大,说明下载不完整。 - 重新下载并显示进度,避免静默下载导致的问题:
!wget https://dlcdn.apache.org/spark/spark-3.3.0/spark-3.3.0-bin-hadoop3.tgz --show-progress - 若重新下载后仍报错,用
file命令验证文件类型:
若输出不是!file spark-3.3.0-bin-hadoop3.tgzgzip compressed data,说明下载的并非有效压缩包(可能是网站返回的错误页面),可尝试用curl替代wget下载:!curl -O https://dlcdn.apache.org/spark/spark-3.3.0/spark-3.3.0-bin-hadoop3.tgz
内容的提问来源于stack exchange,提问作者Katsu
相关产品推荐
相关产品推荐

