如何通过Boto获取S3桶splunk-kinesis-firehose子文件夹下所有文件？

针对你需要获取S3桶内splunk-kinesis-firehose子文件夹下所有文件的需求，这里提供两种实用方案，以及对原脚本的优化建议：

方案1：直接批量获取指定前缀下的所有文件 #

S3的「文件夹」本质是对象键的前缀，因此可以通过list_objects_v2接口结合分页器，直接获取指定前缀下的所有对象。这种方式效率最高，适合批量处理所有失败日志。

import boto3

s3 = boto3.client('s3')

def get_all_failed_logs(bucket_name, target_prefix):
    # 创建分页器处理大量文件的分页返回
    paginator = s3.get_paginator('list_objects_v2')
    response_iterator = paginator.paginate(
        Bucket=bucket_name,
        Prefix=target_prefix,
        Delimiter=''  # 不使用分隔符，返回所有层级的对象
    )

    all_log_keys = []
    for page in response_iterator:
        if 'Contents' in page:
            # 提取每个对象的键
            all_log_keys.extend([obj['Key'] for obj in page['Contents']])
    return all_log_keys

# 调用示例
backup_bucket = "你的备份S3桶名称"
target_prefix = "splunk-kinesis-firehose/"
failed_logs = get_all_failed_logs(backup_bucket, target_prefix)

优势 #

• 直接利用S3的前缀过滤能力，无需手动解析对象键
• 自动处理分页（S3单次最多返回1000个对象），适合大量文件场景
• 代码简洁，执行效率高

方案2：分层遍历（按日期层级筛选） #

如果需要按年/月/日的时间粒度筛选日志，可以结合Delimiter参数分层遍历前缀，适合只处理特定时间范围失败日志的场景。

import boto3

s3 = boto3.client('s3')

def traverse_log_hierarchy(bucket_name, current_prefix):
    paginator = s3.get_paginator('list_objects_v2')
    response = paginator.paginate(
        Bucket=bucket_name,
        Prefix=current_prefix,
        Delimiter='/'
    )

    for page in response:
        # 处理当前层级下的直接文件
        if 'Contents' in page:
            for obj in page['Contents']:
                print(f"待处理日志文件: {obj['Key']}")
                # 这里可以添加原脚本的重摄取逻辑
        # 递归遍历下一层级的「文件夹」
        if 'CommonPrefixes' in page:
            for prefix in page['CommonPrefixes']:
                child_prefix = prefix['Prefix']
                traverse_log_hierarchy(bucket_name, child_prefix)

# 调用示例：遍历splunk-kinesis-firehose下所有层级的文件
traverse_log_hierarchy("你的备份S3桶名称", "splunk-kinesis-firehose/")

适用场景 #

• 需要按时间范围筛选日志（比如只处理2023年1月的失败日志）
• 希望逐步遍历层级，避免一次性获取大量对象

对原脚本的优化建议 #

原脚本通过S3事件触发，仅处理单个文件。如果需要批量重摄取，可以做以下调整：

1. 改为定时触发：用CloudWatch Events定时触发Lambda，定期扫描失败日志桶
2. 增加去重机制：处理完日志后，将文件移动到processed/前缀下，或用DynamoDB记录已处理的对象键，避免重复处理
3. 权限配置：确保Lambda的IAM角色拥有s3:ListBucket（遍历桶）和s3:GetObject（读取文件）的权限

内容的提问来源于stack exchange，提问作者thom4s94