如何通过shell脚本检查指定Amazon S3 key是否存在

前提：已安装AWS CLI，且运行脚本的身份已配置对应S3资源的访问权限。

方案1：使用 aws s3 ls 快速检查（直观易读） #

适合简单场景，通过判断命令是否有返回内容确认前缀是否存在：

# 替换为你要检查的S3路径，末尾加斜杠避免匹配到相似前缀
TARGET_S3_PATH="s3://Bucket/test/names/12345/"

if aws s3 ls "${TARGET_S3_PATH}" --max-items 1 --recursive | grep -q .; then
  echo "S3路径存在"
  # 此处添加路径存在时的业务逻辑
else
  echo "S3路径不存在"
  # 此处添加路径不存在时的业务逻辑
fi

参数说明：

• --max-items 1：仅查询1个匹配对象就返回，大幅提升查询速度，避免全量遍历前缀下的所有文件
• --recursive：遍历前缀下的所有层级对象，避免遗漏深层文件
• grep -q .：静默判断是否有输出内容，有输出则说明前缀下存在对象，即路径存在

方案2：使用 aws s3api list-objects-v2 检查（稳定性更高） #

适合生产脚本使用，通过JSON返回值直接判断，不受文本输出格式变化影响，可靠性更高：

# 替换为你的桶名和要检查的前缀，末尾加斜杠避免匹配相似前缀
S3_BUCKET="Bucket"
S3_PREFIX="test/names/12345/"

# 查询前缀下是否存在对象，最多返回1条结果
QUERY_RESULT=$(aws s3api list-objects-v2 \
  --bucket "${S3_BUCKET}" \
  --prefix "${S3_PREFIX}" \
  --max-items 1 \
  --query 'Contents' \
  --output text 2>&1)
AWS_EXIT_CODE=$?

# 先处理命令执行错误（权限问题、网络问题等）
if [ ${AWS_EXIT_CODE} -ne 0 ]; then
  echo "S3查询失败，错误信息：${QUERY_RESULT}"
  exit 1
fi

# 判断前缀是否存在
if [ -n "${QUERY_RESULT}" ]; then
  echo "S3前缀 ${S3_PREFIX} 存在"
  exit 0
else
  echo "S3前缀 ${S3_PREFIX} 不存在"
  exit 1
fi

补充：检查单个S3对象（非前缀）的方案 #

如果你需要检查的是单个具体文件而非目录前缀，可以用head-object接口，性能更高，且不需要S3列表权限，仅需要对象读权限即可：

# 替换为你的桶名和对象完整key
S3_BUCKET="Bucket"
OBJECT_KEY="test/names/12345/names-ca/one.txt"

if aws s3api head-object --bucket "${S3_BUCKET}" --key "${OBJECT_KEY}" >/dev/null 2>&1; then
  echo "S3对象存在"
else
  echo "S3对象不存在"
fi

注意事项 #

• 前缀末尾加斜杠可避免误匹配：比如test/names/12345会匹配到test/names/123456/xxx.txt这类相似前缀的对象，加斜杠变为test/names/12345/后只会匹配对应目录下的对象，结果更准确。
• 权限要求：检查前缀需要对应桶的s3:ListBucket权限，检查单个对象需要对应对象的s3:GetObject权限。

内容的提问来源于stack exchange，提问作者N9909