AWS CLI s3 cp命令如何按对象标签排除待复制文件

原生的aws s3 cp命令仅支持基于文件名前缀/后缀的过滤规则，没有直接提供按对象标签过滤的参数，你可以通过组合S3 API命令实现该需求，具体操作如下：

实现思路 #

• 先遍历源桶所有对象，逐个查询对象的标签
• 过滤掉带有Flag=1标签的对象，仅复制符合要求的对象到目标桶

可直接使用的Bash实现示例 #

#!/bin/bash
# 替换为你自己的桶名和标签配置
SOURCE_BUCKET="source_bucket"
TARGET_BUCKET="target_bucket"
EXCLUDE_TAG_KEY="Flag"
EXCLUDE_TAG_VALUE="1"

# 拉取源桶所有对象Key，逐行处理
aws s3api list-objects-v2 --bucket "${SOURCE_BUCKET}" --query 'Contents[].Key' --output text | tr '\t' '\n' | while read -r OBJECT_KEY
do
  # 跳过空行
  [[ -z "${OBJECT_KEY}" ]] && continue
  
  # 查询当前对象是否带有需要排除的标签
  TAG_MATCH_COUNT=$(aws s3api get-object-tagging \
    --bucket "${SOURCE_BUCKET}" \
    --key "${OBJECT_KEY}" \
    --query "TagSet[?Key=='${EXCLUDE_TAG_KEY}' && Value=='${EXCLUDE_TAG_VALUE}'] | length(@)" \
    --output text)
  
  # 无匹配标签则执行复制
  if [[ "${TAG_MATCH_COUNT}" -eq 0 ]]; then
    aws s3 cp "s3://${SOURCE_BUCKET}/${OBJECT_KEY}" "s3://${TARGET_BUCKET}/${OBJECT_KEY}"
  fi
done

注意事项 #

• 该方案会为每个对象单独调用一次标签查询接口，适合对象数量较少的场景；如果桶内对象超过10万，建议开启AWS CLI的自动重试，或使用parallel工具做并行查询提升处理效率
• 大规模场景下推荐使用S3批量操作功能，你可以先导出带标签筛选规则的对象清单，再通过批量操作任务一次性完成复制，效率远高于逐行处理

内容的提问来源于stack exchange，提问作者Bodito