如何对比本地文件与通过AWS Java SDK从S3获取的对应文件

本方案通过分别计算本地原文件、S3下载文件的同算法哈希值，对比二者是否一致，兼容所有上传场景和任意格式的文件。

• 可选哈希算法：MD5、SHA-1、SHA-256均可，SHA系列算法碰撞概率更低，校验准确性更高。
• 代码实现如下：

import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStream;
import java.security.MessageDigest;
import java.security.NoSuchAlgorithmException;
import javax.xml.bind.DatatypeConverter;
import com.amazonaws.services.s3.model.S3Object;

// 计算本地文件哈希值的通用工具方法
private String calculateFileHash(String filePath, String algorithm) throws IOException, NoSuchAlgorithmException {
    MessageDigest digest = MessageDigest.getInstance(algorithm);
    try (InputStream fis = new FileInputStream(new File(filePath))) {
        byte[] buffer = new byte[1024];
        int readLen;
        while ((readLen = fis.read(buffer)) != -1) {
            digest.update(buffer, 0, readLen);
        }
    }
    return DatatypeConverter.printHexBinary(digest.digest()).toLowerCase();
}

// 计算S3对象的哈希值
private String calculateS3ObjectHash(S3Object s3Object, String algorithm) throws IOException, NoSuchAlgorithmException {
    MessageDigest digest = MessageDigest.getInstance(algorithm);
    try (InputStream contentStream = s3Object.getObjectContent()) {
        byte[] buffer = new byte[1024];
        int readLen;
        while ((readLen = contentStream.read(buffer)) != -1) {
            digest.update(buffer, 0, readLen);
        }
    }
    return DatatypeConverter.printHexBinary(digest.digest()).toLowerCase();
}

// 对比执行逻辑
public boolean checkFileConsistent(String localFilePath, S3Object s3Object, String algorithm) throws Exception {
    String localHash = calculateFileHash(localFilePath, algorithm);
    String s3Hash = calculateS3ObjectHash(s3Object, algorithm);
    return localHash.equals(s3Hash);
}

• 优缺点说明：优点是准确率100%，支持分块上传、大文件、任意格式文件的校验；缺点是需要下载完整的S3文件，大文件校验耗时较长。

本方案直接利用S3返回的对象元数据中的ETag值对比，不需要下载文件内容，性能远高于方案1，仅适用于单块上传的场景。

• 注意事项：非分块上传的对象ETag默认就是文件的MD5值；如果ETag包含-字符，说明是分块上传生成的ETag，本方案不适用，需要改用方案1，或自行实现分块ETag的计算逻辑。
• 代码实现如下：

import com.amazonaws.services.s3.model.ObjectMetadata;

public boolean checkFileConsistentByETag(String bucket, String key, String localFilePath) throws Exception {
    // 仅获取对象元数据，不下载内容
    ObjectMetadata metadata = amazonS3.getObjectMetadata(bucket, key);
    String eTag = metadata.getETag().replace("\"", ""); // 移除ETag默认携带的双引号

    // 分块上传生成的ETag不支持本方案
    if (eTag.contains("-")) {
        throw new UnsupportedOperationException("分块上传对象请使用哈希值全量对比方案");
    }

    // 对比本地文件MD5与ETag
    String localMd5 = calculateFileHash(localFilePath, "MD5");
    return localMd5.equals(eTag);
}

• 优缺点说明：优点是请求量极小、校验速度极快，适合小文件批量校验场景；缺点是仅支持非分块上传的对象校验。

优化提示：上传文件时可以提前计算本地文件的哈希值，存入S3对象的自定义元数据中，后续校验直接读取元数据即可，无需下载文件，也能兼容分块上传场景。

内容的提问来源于stack exchange，提问作者Ilya