You need to enable JavaScript to run this app. 在Google Colab中解决wget下载空文件及pandas读文件等待问题
优惠活动
大模型
产品
解决方案
定价
更多

在Google Colab中解决wget下载空文件及pandas读文件等待问题

问题成因拆解

1. train.csv始终为0字节的原因

  • 命令存在硬伤:!wget -O train.csv -b train_url & 里的train_url是Python层定义的变量,Colab的bash shell根本识别不到这个值,wget实际收到的下载地址就是字面字符串train_url,完全没请求到真实的Google Drive文件。加上-b是后台运行模式,所有报错都会写到同目录下的wget-log文件,不会直接显示在输出区,你只能看到-O参数提前创建了空的train.csv占位,但全程没有任何有效数据写入。
  • 链接本身不匹配wget的下载逻辑:原始带/view?usp=sharing的链接是Google Drive的文件预览网页,本质返回的是网页HTML,不是csv文件本身;如果文件体积超过100MB,还会触发Google Drive的安全验证拦截页,就算修了变量传值的问题,拿到的也只是验证页面的内容,不是目标数据。

2. 无法实现“下载完成再读取”逻辑的原因

  • 命令末尾加的&会直接把wget进程丢到系统后台,当前shell不会等进程跑完就立刻执行下一行的pd.read_csv,这时候wget刚完成空文件的创建,还没开始写内容,自然读不到有效数据。
  • 之前参考的bash等待wget的方案不生效,核心是wget的基础命令本身就是错的,就算加了wait挂起等待,wget也会因为请求地址无效立刻报错退出,根本不会有实际的下载过程。
可直接跑通的修正代码
import pandas as pd
import numpy as np

# 从原始分享链接中提取文件ID
share_url = "https://drive.google.com/file/d/1tBjLm79vkDqn8GulvvKb6FLH5ghmBpMq/view?usp=sharing"
file_id = share_url.split("/d/")[-1].split("/")[0]
# 拼接可直接下载的Google Drive直链,跳过网页确认环节
direct_link = f"https://drive.google.com/uc?export=download&confirm=t&id={file_id}"

# 去掉后台运行的-b参数和末尾的&,让wget在前台执行
# shell会自动阻塞等待wget执行完成、退出后再跑下一行代码,不需要额外写等待逻辑
!wget -O train.csv "{direct_link}"

# 此时文件已经完整下载,可直接读取
train = pd.read_csv("./train.csv", dtype=np.float32)
补充注意事项
  • 如果确实需要把下载任务放到后台跑,只要在wget命令后面紧跟wait,就能让shell等所有后台进程完全退出后再执行后续代码,写法参考:
    !wget -O train.csv "{direct_link}" & wait
    
  • 下载过程中如果卡住,可以直接打开同目录下的wget-log文件查看实时进度和报错。

内容的提问来源于stack exchange,提问作者Austin Jiang

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.15 17:54:06