在Google Colab中解决wget下载空文件及pandas读文件等待问题
问题成因拆解
1. train.csv始终为0字节的原因
- 命令存在硬伤:
!wget -O train.csv -b train_url &里的train_url是Python层定义的变量,Colab的bash shell根本识别不到这个值,wget实际收到的下载地址就是字面字符串train_url,完全没请求到真实的Google Drive文件。加上-b是后台运行模式,所有报错都会写到同目录下的wget-log文件,不会直接显示在输出区,你只能看到-O参数提前创建了空的train.csv占位,但全程没有任何有效数据写入。 - 链接本身不匹配wget的下载逻辑:原始带
/view?usp=sharing的链接是Google Drive的文件预览网页,本质返回的是网页HTML,不是csv文件本身;如果文件体积超过100MB,还会触发Google Drive的安全验证拦截页,就算修了变量传值的问题,拿到的也只是验证页面的内容,不是目标数据。
2. 无法实现“下载完成再读取”逻辑的原因
- 命令末尾加的
&会直接把wget进程丢到系统后台,当前shell不会等进程跑完就立刻执行下一行的pd.read_csv,这时候wget刚完成空文件的创建,还没开始写内容,自然读不到有效数据。 - 之前参考的bash等待wget的方案不生效,核心是wget的基础命令本身就是错的,就算加了
wait挂起等待,wget也会因为请求地址无效立刻报错退出,根本不会有实际的下载过程。
可直接跑通的修正代码
import pandas as pd import numpy as np # 从原始分享链接中提取文件ID share_url = "https://drive.google.com/file/d/1tBjLm79vkDqn8GulvvKb6FLH5ghmBpMq/view?usp=sharing" file_id = share_url.split("/d/")[-1].split("/")[0] # 拼接可直接下载的Google Drive直链,跳过网页确认环节 direct_link = f"https://drive.google.com/uc?export=download&confirm=t&id={file_id}" # 去掉后台运行的-b参数和末尾的&,让wget在前台执行 # shell会自动阻塞等待wget执行完成、退出后再跑下一行代码,不需要额外写等待逻辑 !wget -O train.csv "{direct_link}" # 此时文件已经完整下载,可直接读取 train = pd.read_csv("./train.csv", dtype=np.float32)
补充注意事项
- 如果确实需要把下载任务放到后台跑,只要在wget命令后面紧跟
wait,就能让shell等所有后台进程完全退出后再执行后续代码,写法参考:!wget -O train.csv "{direct_link}" & wait - 下载过程中如果卡住,可以直接打开同目录下的
wget-log文件查看实时进度和报错。
内容的提问来源于stack exchange,提问作者Austin Jiang
相关产品推荐
相关产品推荐

