You need to enable JavaScript to run this app. AWS S3下载BSC快照大文件失败后如何重试下载失败部分
优惠活动
大模型
产品
解决方案
定价
更多

AWS S3下载BSC快照大文件失败后如何重试下载失败部分

报错原因说明

你遇到的报错核心是原脚本无限制并行下载多个大体积快照,容易触发S3服务限流、本地带宽占满,导致下载进程意外中断,管道断开后zstd解压、tar解包收到不完整数据流,因此抛出EOF异常和Broken pipe错误。失败任务对应的ZFS数据集已经创建,但内部数据不完整,无法直接使用,需要先清理再重试。

分步修复方案
  • 第一步:清理失败任务的不完整数据集
    从报错中提取4个下载失败的快照对应的ZFS名称,逐个执行卸载和销毁操作:

    # 替换为你实际失败的ZFS名称执行即可
    zfs umount /6202776-6662396
    zfs destroy tank/6202776-6662396
    
    zfs umount /7214671-7292199
    zfs destroy tank/7214671-7292199
    
    zfs umount /8029385-8291918
    zfs destroy tank/8029385-8291918
    
    zfs umount /6946792-7214799
    zfs destroy tank/6946792-7214799
    
  • 第二步:使用优化后的脚本重试失败任务
    优化逻辑新增了并行数限制、下载自动重试能力,避免再次出现批量下载失败的问题:

    # 自定义最大并行下载数,建议根据你的带宽大小设置为2~4即可
    MAX_PARALLEL=3
    # 失败的快照文件列表,和你报错中的失败文件一一对应
    FAILED_FILES=(
      "6202776-6662396.tar.zstd"
      "7214671-7292199.tar.zstd"
      "8029385-8291918.tar.zstd"
      "6946792-7214799.tar.zstd"
    )
    
    for FILE_NAME in "${FAILED_FILES[@]}"; do
      # 并行数控制:达到上限就等待任意进程结束后再启动新任务
      while [ $(jobs -p | wc -l) -ge $MAX_PARALLEL ]; do
        sleep 1
      done
      ZFS_NAME=$(echo "$FILE_NAME" | cut -d'.' -f1)
      ARCHIVE_NAMES+=("$ZFS_NAME")
      # 新建对应ZFS数据集
      zfs create -o "mountpoint=/$ZFS_NAME" "tank/$ZFS_NAME"
      # 下载命令新增max-attempts参数,下载失败自动重试最多10次
      bash -c "cd /$ZFS_NAME && aws s3 cp --request-payer=requester --max-attempts 10 '$S3_BUCKET_PATH/bsc/$FILE_NAME' - | /zstd/zstd --long=30 -d | tar -xf -" &
    done
    # 等待所有后台下载任务执行完成
    wait
    

    注:如果你的aws cli版本低于v1.19.108不支持--max-attempts参数,可以在外层手动加while循环实现重试逻辑。

  • 第三步:校验数据完整性
    所有任务执行完成后,进入每个ZFS挂载目录检查文件数量、大小是否符合预期,也可以启动BSC节点校验对应区间的区块是否完整。

可选优化

如果后续需要重新全量下载所有快照,直接用上述带并行控制的逻辑替换原脚本中的while循环部分即可,避免首次下载就出现批量失败问题。

内容的提问来源于stack exchange,提问作者hg628193hg

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.09 03:12:02