如何为aws s3 cp命令配置重试机制及超时设置？

刚好遇到过类似的偶发超时问题，给你分享几个可行的解决方案：

一、利用AWS CLI内置的超时与重试配置 #

其实AWS CLI本身就提供了控制超时和重试的参数，可能你之前没留意到：

• 延长超时时间：使用--cli-read-timeout（控制读取操作的超时秒数）和--cli-connect-timeout（控制连接建立的超时秒数）参数，比如把读取超时设为30秒，连接超时设为10秒：

  aws s3 cp build/xxxxxxx/test.sh s3://your-target-bucket/ --cli-read-timeout 30 --cli-connect-timeout 10
  

  默认的超时时间比较短，延长后能有效减少临时网络波动导致的读取超时。

• 调整重试次数：AWS CLI默认有重试机制，但你可以手动指定重试次数，或者全局配置。
  临时命令行设置（单次生效）：

  aws s3 cp build/xxxxxxx/test.sh s3://your-target-bucket/ --retries 5
  

  全局配置（修改Jenkins运行用户的~/.aws/config，永久生效）：

  [default]
  retry_mode = adaptive  # 动态调整重试间隔，比standard更智能
  max_attempts = 5       # 最大重试次数，包括第一次尝试
  

  adaptive模式会根据错误类型调整重试等待时间，适合应对网络不稳定的场景。

二、自定义脚本包裹实现重试逻辑 #

如果内置配置还是无法覆盖所有偶发失败场景（比如磁盘临时不可读导致的报错），可以用bash脚本包裹上传命令，手动实现重试逻辑。在Jenkins的Shell步骤里可以这么写：

#!/bin/bash

# 定义上传命令和重试参数
UPLOAD_COMMAND="aws s3 cp build/xxxxxxx/test.sh s3://your-target-bucket/ --cli-read-timeout 30 --cli-connect-timeout 10"
MAX_RETRY_TIMES=3
RETRY_WAIT_SECONDS=5

current_attempt=1
while [ $current_attempt -le $MAX_RETRY_TIMES ]; do
    echo "开始第 $current_attempt 次上传尝试..."
    # 执行上传命令
    $UPLOAD_COMMAND
    exit_status=$?

    if [ $exit_status -eq 0 ]; then
        echo "上传成功！"
        exit 0
    else
        echo "第 $current_attempt 次上传失败，退出码: $exit_status"
        if [ $current_attempt -lt $MAX_RETRY_TIMES ]; then
            echo "等待 $RETRY_WAIT_SECONDS 秒后进行下一次重试..."
            sleep $RETRY_WAIT_SECONDS
        fi
        current_attempt=$((current_attempt + 1))
    fi
done

echo "已完成 $MAX_RETRY_TIMES 次重试，上传仍然失败"
exit 1

这个脚本会最多尝试3次上传，每次失败后等待5秒再重试，只有当所有重试都失败时才返回错误，能很好地应对临时的网络或磁盘问题。

最后补充个小提示：在Jenkins环境中，要确保运行任务的用户有正确的AWS权限，并且AWS CLI的凭证、区域配置都没问题——有时候权限不足也会伪装成超时错误哦。

内容的提问来源于stack exchange，提问作者Vivek