如何通过多Colab运行时分段下载大文件至Google Drive并合并？

1. 获取目标文件总长度 #

通过curl提取HTTP响应头中的Content-Length字段，得到文件总字节数：

FILE_URL="https://example.com/your-large-file.ext"
# 提取纯净的文件总大小数值
FILE_SIZE=$(curl -sI "$FILE_URL" | grep -i "Content-Length" | awk '{print $2}' | tr -d '\r')
echo "文件总大小: $FILE_SIZE 字节"

• -s：静默模式，屏蔽冗余输出
• -I：仅获取HTTP响应头信息
• tr -d '\r'：移除部分服务器返回头中的换行符，确保数值格式正确

2. 分两段并行下载（两个Colab运行时分别执行） #

先在Colab中挂载Google Drive，确保两个分段文件保存到同一Drive目录：

# Colab中挂载Drive（Python命令，执行后按提示授权）
from google.colab import drive
drive.mount('/content/drive')
# 切换到Drive中的目标下载目录
cd /content/drive/MyDrive/your-download-folder

运行时1：下载前半段 #

FILE_URL="https://example.com/your-large-file.ext"
FILE_SIZE=$(curl -sI "$FILE_URL" | grep -i "Content-Length" | awk '{print $2}' | tr -d '\r')
START=0
END=$((FILE_SIZE/2 - 1))
# 下载前半段到part1.bin
curl -L -o part1.bin -H "Range: bytes=$START-$END" "$FILE_URL"

运行时2：下载后半段 #

FILE_URL="https://example.com/your-large-file.ext"
FILE_SIZE=$(curl -sI "$FILE_URL" | grep -i "Content-Length" | awk '{print $2}' | tr -d '\r')
START=$((FILE_SIZE/2))
# 下载后半段到part2.bin（Range用`$START-`表示从该位置到文件末尾）
curl -L -o part2.bin -H "Range: bytes=$START-" "$FILE_URL"

• -L：自动跟随HTTP重定向，适配带跳转的文件链接
• -o：指定输出文件名，避免默认命名混乱

3. 合并分段文件为完整文件 #

等两个分段下载完成后，在Drive目录下执行合并命令：

# 按顺序合并分段文件，生成完整文件
cat part1.bin part2.bin > your-full-file.ext

替换your-full-file.ext为原文件的实际名称和后缀。

可选：验证文件完整性 #

如果有原文件的哈希值（如SHA256），可以对比验证合并后的文件是否完整：

# 计算合并后文件的SHA256哈希
sha256sum your-full-file.ext

内容的提问来源于stack exchange，提问作者Ritzy Dev