使用boto3删除S3前缀内文件时如何保留该前缀文件夹
问题根因
S3本身不存在实体文件夹概念,你认知中作为“目录”存在的key_daily前缀,本质是一个Key值与前缀完全相等的0字节占位对象。调用list_objects_v2接口时,该占位对象会和前缀下存储的所有普通文件一起被返回,原代码没有做针对性过滤,自然会把这个代表前缀标识的占位对象也纳入删除范围。
修复步骤
- 遍历匹配对象时,增加条件判断,跳过Key值与目标前缀完全相等的占位对象,避免误删
- 替换单次请求拉取的逻辑为分页器拉取,适配前缀下文件数超过1000个的场景(
list_objects_v2单页最多返回1000条结果,原代码在文件量较大时会出现漏删)
修改后可直接运行的代码
import boto3 s3client = boto3.client('s3') target_bucket = 'bucket_filedrop' target_prefix = 'key_daily' # 初始化分页器拉取全量匹配前缀的对象 paginator = s3client.get_paginator('list_objects_v2') page_iterator = paginator.paginate(Bucket=target_bucket, Prefix=target_prefix) for page in page_iterator: # 空页直接跳过 if 'Contents' not in page: continue for obj in page['Contents']: current_key = obj['Key'] # 核心过滤逻辑:跳过前缀本身对应的占位对象,保留目录标识 if current_key == target_prefix: continue s3client.delete_object(Bucket=target_bucket, Key=current_key)
补充说明
- 上述逻辑只会跳过和目标前缀完全匹配的占位对象,前缀下的子文件夹占位对象(例如
key_daily/sub_dir/)会被正常删除,不会出现残留 - 如果之前已经误删了
key_daily对应的占位对象,只需要向桶内上传一个Key为key_daily的0字节空文件,就能在控制台恢复显示对应的“文件夹”层级
内容的提问来源于stack exchange,提问作者Sam Wang
相关产品推荐
相关产品推荐

