如何用C#拉取AWS S3桶中近30分钟新增的文件？

S3本身不支持直接通过API请求过滤指定时间范围的对象，但可以通过以下方式大幅提升效率，避免拉取数百万条记录：

核心优化思路 #

• 让S3按LastModified降序返回对象，这样最新的文件先被获取
• 遍历过程中，一旦遇到早于30分钟的文件，立即终止遍历（因为后续文件只会更旧）
• 处理分页逻辑，确保所有符合条件的文件都被获取（S3单次最多返回1000条对象）

修改后的代码 #

var lastModifiedDt = DateTime.UtcNow.AddMinutes(-30);
var isTruncated = true;
string continuationToken = null;

while (isTruncated)
{
    var req = new ListObjectsV2Request
    {
        BucketName = "sample1",
        Prefix = "/testExport/test",
        MaxKeys = 1000, // S3单次请求最大返回1000条，设为这个值最优
        SortBy = ListObjectsV2SortBy.LastModified,
        SortOrder = ListObjectsV2SortOrder.Descending,
        ContinuationToken = continuationToken
    };

    var response = await _s3Client.ListObjectsV2Async(req);
    
    foreach (var file in response.S3Objects)
    {
        var fileLastModified = file.LastModified.ToUniversalTime();
        // 遇到早于30分钟的文件，直接跳出所有循环，后续文件只会更旧
        if (fileLastModified < lastModifiedDt)
        {
            isTruncated = false;
            break;
        }
        
        // 处理符合条件的文件
        // do rest of the process
    }

    isTruncated = response.IsTruncated;
    continuationToken = response.NextContinuationToken;
}

关键优化点说明 #

• 排序设置：通过SortBy = LastModified和SortOrder = Descending让S3优先返回最新的文件，这样能最快终止无效遍历
• 分页处理：S3默认单次最多返回1000条对象，所以必须通过ContinuationToken处理分页，避免遗漏数据
• 提前终止：一旦发现文件时间不符合，直接停止遍历和分页请求，减少不必要的API调用和数据传输

额外建议 #

如果你的存储桶文件量极大，且需要频繁按时间范围查询，可以考虑启用S3 Inventory生成定期的对象清单，或者结合Amazon EventBridge监听S3的对象创建事件，实时获取新增文件，这两种方式能进一步提升效率。

内容的提问来源于stack exchange，提问作者dawncode