使用SageMaker Studio Lab下载大文件遇“Response entity too large”错误求助

• 使用分段下载工具规避限制
  用wget的断点续传和速率限制参数，降低触发服务器大小限制的概率：

  wget -c --limit-rate=5M <你的模型文件URL>
  

  如果还是失败，可将文件分段下载后合并：

  # 按100MB分段下载
  wget -r -np -N -c -b --cut-dirs=3 -P ./ --chunk-size=100M <你的模型文件URL>
  # 合并所有分段文件
  cat <模型文件名>.part* > <最终模型文件名>
  

• 借助AWS CLI下载（模型存于S3时）
  若模型存储在AWS S3，直接用AWS CLI绕开Web界面的下载限制：

  aws s3 cp s3://<存储桶路径>/<模型文件名> ./
  

  首次使用需在终端运行aws configure完成基础配置。

• 自定义镜像环境下修改服务器配置
  如果你使用的是自行搭建的Studio Lab自定义镜像，可调整nginx的请求大小限制：

  1. 找到nginx配置文件（常见路径：/etc/nginx/nginx.conf或/etc/nginx/conf.d/default.conf）
  2. 在http或server块中添加：

     client_max_body_size 10G;
     

  3. 重启nginx服务：

     sudo systemctl restart nginx
     

  注意：官方托管的Studio Lab环境无法修改此配置，仅适用于自定义部署实例。

• 通过云存储中转下载
  先将模型上传至支持大文件的云存储（如Google Drive），再用对应工具在Studio Lab内下载：

  pip install gdown
  gdown <Google Drive文件的分享ID>
  

内容的提问来源于stack exchange，提问作者Anna Annie