MinIO S3存储桶500万对象遍历计数异常问题求助

问题背景 #

我有一个MinIO存储桶，通过MinIO Web界面可知其中约有5,000,000个对象。需要遍历每一个对象（后续还要做处理），先通过统计对象数量测试功能（结果需与MinIO显示一致）。

尝试使用boto3的list_objects、list_objects_v2方法及boto3 resource操作，且已使用分页，但未解决问题：

• 不指定前缀统计整个桶时，仅能统计约200,000个对象；
• 指定一级前缀时统计数会增加，但因数据结构混乱，无法列出所有前缀（部分数据与“子文件夹”同级）。

客户端/资源初始化代码 #

import boto3
from botocore.config import Config

custom_config = Config(
    retries = {
        'max_attempts': 10,
        'mode': 'standard'
    },
    signature_version='s3v4'
)

minio_client = boto3.client(
            's3',
            endpoint_url=<URL>,
            aws_access_key_id=<ID>,
            aws_secret_access_key=<KEY>,
            aws_session_token=None,
            verify=False,
            config=custom_config,
) 

minio_resource = boto3.resource(
        's3',
        endpoint_url=<URL>,
        aws_access_key_id=<ID>,
        aws_secret_access_key=<KEY>,
        aws_session_token=None,
        verify=False,
        config=custom_config,
)

尝试过的统计代码 #

使用boto3 Resource的方式 #

bucket_name = <BUCKET_NAME>

bucket = minio_resource.Bucket(bucket_name)

cnt = 0
try:
    for page in bucket.objects.all():  # 也试过 *.page_size(1000):  
        for obj in page:
            cnt += 1
            if cnt % 10000 == 0:  
                print("-------------------------------")
                print(obj)
                print(f"Processed {cnt} objects so far")

except Exception as e:
    print(f"An error occurred: {e}")

print(f"Total objects counted: {cnt}")

使用boto3 Client分页器的方式 #

cnt = 0
try:
    paginator = minio_client.get_paginator('list_objects_v2')
    
    page_iterator = paginator.paginate(Bucket=bucket_name) # 也试过带前缀：, Prefix=pfx)
    
    for page in page_iterator:
        for obj in page.get('Contents', []):
            cnt += 1
            if cnt % 10000 == 0: 
                print("-------------------------------")
                print(obj)
                print(f"Processed {cnt} objects so far")

except Exception as e:
    print(f"An error occurred: {e}")

print(f"Total objects counted: {cnt}")

解决方案 #

1. 修复分页器配置，确保完整遍历 #

MinIO的list_objects_v2分页默认可能存在截断问题，需明确指定分页参数，确保遍历所有对象。同时注意MinIO的“文件夹”是虚拟的，遍历全量对象时不要设置Delimiter，避免只返回前缀而遗漏对象。

修改后的Client分页代码：

cnt = 0
try:
    paginator = minio_client.get_paginator('list_objects_v2')
    # 配置分页器，设置足够大的最大条目数和合理的每页大小
    page_iterator = paginator.paginate(
        Bucket=bucket_name,
        PaginationConfig={
            'MaxItems': 10000000,
            'PageSize': 1000
        }
    )
    
    for page in page_iterator:
        objects = page.get('Contents', [])
        cnt += len(objects)
        if cnt % 10000 == 0:
            print(f"Processed {cnt} objects so far")
            
    print(f"Total objects counted: {cnt}")

except Exception as e:
    print(f"An error occurred: {e}")

2. 处理虚拟文件夹的混乱结构 #

如果数据结构中存在对象与“子文件夹”（前缀）同级的情况，需先获取所有前缀，再逐个遍历前缀下的对象，同时遍历根目录下无前缀的对象。

代码示例：

def get_all_prefixes(client, bucket_name):
    prefixes = set()
    paginator = client.get_paginator('list_objects_v2')
    page_iterator = paginator.paginate(
        Bucket=bucket_name,
        Delimiter='/'
    )
    
    for page in page_iterator:
        for common_prefix in page.get('CommonPrefixes', []):
            prefixes.add(common_prefix['Prefix'])
    return prefixes

cnt = 0
bucket_name = <BUCKET_NAME>

# 统计根目录下无前缀的对象
paginator = minio_client.get_paginator('list_objects_v2')
page_iterator = paginator.paginate(
    Bucket=bucket_name,
    PaginationConfig={'PageSize': 1000}
)
for page in page_iterator:
    objects = page.get('Contents', [])
    # 过滤虚拟文件夹的占位对象（如果存在）
    objects = [obj for obj in objects if not obj['Key'].endswith('/')]
    cnt += len(objects)

# 统计每个前缀下的对象
all_prefixes = get_all_prefixes(minio_client, bucket_name)
for prefix in all_prefixes:
    page_iterator = paginator.paginate(
        Bucket=bucket_name,
        Prefix=prefix,
        PaginationConfig={'PageSize': 1000}
    )
    for page in page_iterator:
        objects = page.get('Contents', [])
        cnt += len(objects)
    print(f"Processed prefix {prefix}, total so far: {cnt}")

print(f"Total objects counted: {cnt}")

3. 排查潜在问题 #

• 权限检查：确保MinIO账号拥有完整的s3:ListBucket权限，避免因权限不足无法获取全部对象；
• 超时配置：在custom_config中延长读写超时时间，避免网络问题导致分页中断：

  custom_config = Config(
      retries = {
          'max_attempts': 10,
          'mode': 'standard'
      },
      signature_version='s3v4',
      connect_timeout=5,
      read_timeout=30
  )
  

• 版本兼容性：确保boto3版本与MinIO服务器版本匹配，避免API差异导致的问题。

内容的提问来源于stack exchange，提问作者user452306