使用Boto3统计S3 Glacier/归档对象时遇404错误求助

可能的原因 #

• 对象键含隐藏字符：latest_objects列表中的部分键可能带有空格、换行符、制表符等不可见字符，导致与S3存储桶内实际对象的键不匹配，触发404错误。
• 版本化存储桶的删除标记：若存储桶开启了版本控制，部分对象可能存在删除标记，当前版本的对象实际已被删除，导致HeadObject请求返回404。
• 键的编码/格式错误：比如键包含非UTF-8编码字符，或存在多余斜杠、路径格式不符等问题。

修复步骤 #

1. 排查对象键的准确性 #

在循环中添加对obj的详细打印，暴露隐藏字符：

for obj in latest_objects:
    print(f"当前处理键：{repr(obj)}，长度：{len(obj)}")
    try:
        response = s3.Object(Bucket, obj)
        if response.storage_class in ['GLACIER', 'DEEP_ARCHIVE']:
            count += 1
            print("To be restored: " + obj)
    except Exception as e:
        print(f"处理键 {repr(obj)} 出错：{str(e)}")
        # 替换break为continue，跳过错误对象继续统计
        continue

repr(obj)会显示键的原始字符（比如换行符会显示为\n），方便和S3控制台中的实际键做对比。

2. 避免终止循环 #

原代码中的break会在遇到第一个错误时终止整个统计流程，改为continue可跳过错误对象，继续处理其余有效对象。

3. 优化查询方式（更高效） #

逐个调用HeadObject效率低且易触发请求限制，建议通过批量查询接口获取对象存储类：

s3_client = boto3.client('s3', aws_access_key_id=accesskey, aws_secret_access_key=secretkey)
count = 0

# 按批次查询，每次最多处理1000个对象
for i in range(0, len(latest_objects), 1000):
    batch = latest_objects[i:i+1000]
    try:
        response = s3_client.list_objects_v2(
            Bucket=Bucket,
            MaxKeys=1000,
            Keys=[{'Key': key} for key in batch]
        )
        for obj in response.get('Contents', []):
            if obj['StorageClass'] in ['GLACIER', 'DEEP_ARCHIVE']:
                count += 1
                print(f"To be restored: {obj['Key']}")
        # 处理分页结果
        while response.get('IsTruncated'):
            response = s3_client.list_objects_v2(
                Bucket=Bucket,
                ContinuationToken=response['NextContinuationToken'],
                Keys=[{'Key': key} for key in batch]
            )
            for obj in response.get('Contents', []):
                if obj['StorageClass'] in ['GLACIER', 'DEEP_ARCHIVE']:
                    count += 1
                    print(f"To be restored: {obj['Key']}")
    except Exception as e:
        print(f"批量查询出错：{str(e)}")
        continue

这种方式减少API调用次数，同时能更准确获取对象状态。

4. 检查存储桶版本控制 #

若存储桶开启了版本控制，调用以下代码查看对应键的版本状态，确认是否存在有效版本：

response = s3_client.list_object_versions(Bucket=Bucket, Prefix=obj)
print(f"键 {obj} 的版本信息：{response}")

内容的提问来源于stack exchange，提问作者Tony Frank