如何从大型S3存储桶中获取每个用户的最早日期子文件夹

核心思路：利用S3的**前缀列举（Prefix）和分隔符（Delimiter）**功能，仅遍历文件夹层级而非所有对象，完全不需要下载数据。由于日期格式YYYY/MM/DD的字典序与时间序完全一致，只需找到每个用户下字典序最小的日期前缀，即可得到该用户的最早数据日期。

方法一：Python + Boto3 脚本（推荐用于大规模存储桶） #

该方法通过分页列举前缀，找到第一个日期后立即中断遍历，大幅减少API调用次数，适合数万用户的场景：

import boto3
import json

# 初始化S3客户端
s3 = boto3.client('s3')
bucket_name = 'large-bucket'
user_earliest_dates = {}

# 第一步：获取所有用户前缀（user=<user_id>/）
paginator = s3.get_paginator('list_objects_v2')
user_page_iterator = paginator.paginate(
    Bucket=bucket_name,
    Delimiter='/',
    Prefix=''
)

for page in user_page_iterator:
    if 'CommonPrefixes' not in page:
        continue
    for prefix in page['CommonPrefixes']:
        user_prefix = prefix['Prefix']
        if not user_prefix.startswith('user='):
            continue
        
        # 提取用户ID
        user_id = user_prefix.split('user=')[1].rstrip('/')
        earliest_date = None
        
        # 第二步：遍历年、月、日层级，找到第一个日期（字典序最小=最早）
        # 遍历年份前缀
        year_page_iterator = paginator.paginate(
            Bucket=bucket_name,
            Delimiter='/',
            Prefix=user_prefix
        )
        for year_page in year_page_iterator:
            if 'CommonPrefixes' not in year_page:
                break
            for year_prefix in year_page['CommonPrefixes']:
                # 遍历月份前缀
                month_page_iterator = paginator.paginate(
                    Bucket=bucket_name,
                    Delimiter='/',
                    Prefix=year_prefix['Prefix']
                )
                for month_page in month_page_iterator:
                    if 'CommonPrefixes' not in month_page:
                        break
                    for month_prefix in month_page['CommonPrefixes']:
                        # 遍历日期前缀
                        day_page_iterator = paginator.paginate(
                            Bucket=bucket_name,
                            Delimiter='/',
                            Prefix=month_prefix['Prefix']
                        )
                        for day_page in day_page_iterator:
                            if 'CommonPrefixes' not in day_page:
                                break
                            # 第一个日期前缀即为最早日期
                            day_prefix = day_page['CommonPrefixes'][0]['Prefix']
                            earliest_date = day_prefix.replace(user_prefix, '').rstrip('/')
                            # 找到后立即终止所有层级遍历
                            break
                        break
                    break
                break
            break
        
        if earliest_date:
            user_earliest_dates[user_id] = earliest_date

# 输出JSON结果
print(json.dumps(user_earliest_dates, indent=2))

方法二：AWS CLI + Shell 脚本（适合快速验证） #

如果需要快速验证结果，可使用AWS CLI结合Shell命令实现：

#!/bin/bash

BUCKET="large-bucket"
OUTPUT_FILE="user_earliest_dates.json"

# 初始化JSON文件
echo "{" > "$OUTPUT_FILE"
FIRST_ENTRY=true

# 获取所有用户前缀
USER_PREFIXES=$(aws s3 ls "s3://$BUCKET/" --delimiter '/' | grep 'user=' | awk '{print $2}')

for USER_PREFIX in $USER_PREFIXES; do
    # 提取用户ID
    USER_ID=$(echo "$USER_PREFIX" | sed 's/user=\(.*\)\//\1/')
    
    # 获取该用户下的最早日期（排序后取第一个）
    EARLIEST_DATE=$(aws s3 ls "s3://$BUCKET/$USER_PREFIX" --recursive --delimiter '/' | \
        grep -E '[0-9]{4}/[0-9]{2}/[0-9]{2}/' | awk '{print $2}' | sort | head -n 1 | \
        sed 's/.*\([0-9]\{4\}\/[0-9]\{2\}\/[0-9]\{2\}\)\//\1/')
    
    # 写入JSON
    if [ "$FIRST_ENTRY" = true ]; then
        echo "  \"$USER_ID\": \"$EARLIEST_DATE\"" >> "$OUTPUT_FILE"
        FIRST_ENTRY=false
    else
        echo ",  \"$USER_ID\": \"$EARLIEST_DATE\"" >> "$OUTPUT_FILE"
    fi
done

echo "}" >> "$OUTPUT_FILE"

注意事项 #

• 权限要求：仅需为IAM实体授予s3:ListBucket权限，无需对象读写权限。
• 性能优化：Python脚本在找到第一个日期后立即终止遍历，相比全量列举能节省90%以上的API调用；大规模场景下优先选择Python实现。
• 日期顺序：YYYY/MM/DD格式的字符串字典序与时间序完全一致，因此排序后第一个结果即为最早日期，无需额外时间格式转换。

内容的提问来源于stack exchange，提问作者dezdichado