在Colab中上传Common Crawl至Google Drive的方法及问题求助

一、内置Google Drive挂载无法上传至training_data文件夹 #

• 检查文件夹权限：确保training_data文件夹属于你本人，或拥有编辑权限，共享文件夹可能因权限限制无法写入。
• 核对挂载路径：确认挂载后的Drive路径准确（比如Colab中为/content/drive/MyDrive/training_data），注意路径大小写敏感，避免拼写错误。
• 拆分上传任务：Common Crawl数据集文件量大、数量多，内置挂载工具可能存在批量上传限制，尝试分批次上传单个或少量文件，或改用命令行工具替代内置挂载。

二、gupload工具报google.auth.exceptions.TransportError错误 #

这个错误是因为gupload默认尝试从Google Compute Engine（GCE）的元数据服务获取认证信息，但你当前不在GCE环境中运行，导致元数据服务访问失败（404）。解决方法：

• 指定本地认证凭证：
  1. 先通过命令生成本地应用默认凭证：

     gcloud auth application-default login
     

  2. 运行gupload时通过--credentials-file参数指定凭证文件路径：

     gupload --credentials-file ~/.config/gcloud/application_default_credentials.json /path/to/common_crawl_files/* remote:training_data
     

• 更换适配工具：gupload更适配Google Cloud Storage（GCS），如果目标是Google Drive，建议改用rclone：
  1. 配置rclone的Drive远程（按照rclone向导完成授权）
  2. 使用copy命令批量上传：

     rclone copy /path/to/common_crawl_files remote:training_data
     

• 设置环境变量：直接指定凭证文件路径到环境变量，避免每次命令都加参数：

  export GOOGLE_APPLICATION_CREDENTIALS=~/.config/gcloud/application_default_credentials.json
  

内容的提问来源于stack exchange，提问作者user16548776