.NET C#项目中如何从S3桶获取内容唯一的PDF文件？

没有S3原生API能直接实现内容去重，核心思路是通过内容哈希值（或利用S3的ETag）来判断文件是否重复，下面分两种场景给出具体实现：

方案一：利用S3对象的ETag（仅适用于单部分上传的文件） #

S3对象的ETag在单部分上传时，等于文件内容的MD5值，可直接用来判断内容一致性。但如果是分块上传的文件，ETag格式为MD5-分块数，无法直接代表内容哈希，这种情况建议用方案二。

实现步骤 #

• 筛选出目标PDF文件并按修改时间降序排序
• 按ETag分组，每组保留最新修改的文件

代码示例 #

ListObjectsV2Request listRequest = new ListObjectsV2Request { BucketName = awsBucketName, Prefix = fullPath };
var listResult = await client.ListObjectsV2Async(listRequest);

// 筛选有效PDF并按修改时间倒序
var pdfObjects = listResult.S3Objects
    .Where(x => x.Key.EndsWith(".pdf", StringComparison.OrdinalIgnoreCase) && x.Size > 0)
    .OrderByDescending(x => x.LastModified)
    .ToList();

// 按ETag去重，保留每组第一个（最新的）
var uniqueContentObjects = pdfObjects
    .GroupBy(obj => obj.ETag.Trim('"')) // S3返回的ETag带双引号，需去除
    .Select(group => group.First())
    .ToList();

方案二：下载文件计算内容哈希（通用所有上传方式） #

如果桶内存在分块上传的PDF，必须通过下载文件内容并计算哈希值（如MD5、SHA256）来判断重复，这是通用方案。

实现步骤 #

• 遍历筛选后的PDF文件，逐个下载文件流
• 计算每个文件的哈希值
• 用哈希值做唯一标识，保留每个哈希对应的第一个文件（最新修改的）

代码示例 #

ListObjectsV2Request listRequest = new ListObjectsV2Request { BucketName = awsBucketName, Prefix = fullPath };
var listResult = await client.ListObjectsV2Async(listRequest);

var pdfObjects = listResult.S3Objects
    .Where(x => x.Key.EndsWith(".pdf", StringComparison.OrdinalIgnoreCase) && x.Size > 0)
    .OrderByDescending(x => x.LastModified)
    .ToList();

// 存储哈希与对象的映射，确保唯一
var hashToObjectMap = new Dictionary<string, S3Object>();
using (var md5 = MD5.Create())
{
    foreach (var obj in pdfObjects)
    {
        var getRequest = new GetObjectRequest { BucketName = awsBucketName, Key = obj.Key };
        using (var getResponse = await client.GetObjectAsync(getRequest))
        using (var stream = getResponse.ResponseStream)
        {
            // 计算文件MD5哈希
            byte[] hashBytes = md5.ComputeHash(stream);
            string hashString = BitConverter.ToString(hashBytes).Replace("-", "").ToLowerInvariant();
            
            // 只保留首次出现的（最新修改的）文件
            if (!hashToObjectMap.ContainsKey(hashString))
            {
                hashToObjectMap.Add(hashString, obj);
            }
        }
    }
}

// 最终的内容唯一文件列表
var uniqueContentObjects = hashToObjectMap.Values.ToList();

额外提示 #

• 方案一性能更高，无需下载文件，但有上传方式限制；不确定上传方式的话优先用方案二
• 处理大文件时，可分块读取流计算哈希，避免内存溢出
• 长期优化方案：上传文件时将哈希值存入S3对象的自定义元数据（如x-amz-meta-content-hash），后续直接读取元数据即可，无需下载文件

内容的提问来源于stack exchange，提问作者user14463446