使用预签名URL向S3上传文件：验证方案是否可靠？

背景 #

我采用以下方案实现用户向S3云存储上传文件：

• 服务端（Python）生成限时预签名上传URL；
• 客户端（Java）通过该URL上传文件。

Java文件上传代码 #

private static boolean upload(String urlAsString, File inputFile, String checksum) {
    boolean success = false;

    HttpURLConnection urlConnection = null;
    FileInputStream fileInputStream = null;
    OutputStream outputStream = null;

    try {
        URL url = new URL(urlAsString);
        urlConnection = (HttpURLConnection) url.openConnection();
        urlConnection.setRequestMethod(PUT);
        urlConnection.setConnectTimeout(CONNECT_TIMEOUT);
        urlConnection.setReadTimeout(READ_TIMEOUT);
        urlConnection.setDoOutput(true);

        // Checksum
        if (checksum != null) {
            urlConnection.setRequestProperty("content-md5", checksum);
            urlConnection.setRequestProperty("x-amz-meta-md5", checksum);
        }
        
        // Set content length before writing to output stream
        final long length = inputFile.length();
        if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.KITKAT) {
            urlConnection.setFixedLengthStreamingMode(length);
        }
        urlConnection.setRequestProperty("Content-Length", String.valueOf(length));


        fileInputStream = new FileInputStream(inputFile);
        outputStream = urlConnection.getOutputStream();

        byte[] buffer = new byte[BUFFER_SIZE];
        int bufferLength = 0;

        while ((bufferLength = fileInputStream.read(buffer)) != -1) {
            if (bufferLength > 0) {
                outputStream.write(buffer, 0, bufferLength);
            }
        }

        int responseCode = urlConnection.getResponseCode();

        if (responseCode == HttpURLConnection.HTTP_OK) {
            success = true;
        }
    } catch (MalformedURLException e) {
        Log.e(TAG, "", e);
    } catch (IOException e) {
        Log.e(TAG, "", e);
    } finally {
        close(fileInputStream);

        close(outputStream);

        if (urlConnection != null) {
            urlConnection.disconnect();
        }
    }
}

Python生成预签名上传URL代码 #

def get_presigned_upload_url(s3_client, customer_id, key, checksum):
    presigned_upload_url = None

    if checksum is None:
        presigned_upload_url = s3_client.generate_presigned_url(
            ClientMethod='put_object',
            Params={
                'Bucket': constants.S3_BUCKET_NAME, 
                'Key': get_user_folder_name(customer_id) + key
            },
            ExpiresIn=constants.EXPIRES_IN
        )
    else:
        presigned_upload_url = s3_client.generate_presigned_url(
            ClientMethod='put_object',
            Params={
                'Bucket': constants.S3_BUCKET_NAME, 
                'Key': get_user_folder_name(customer_id) + key,
                'ContentMD5': checksum,
                'Metadata': {
                    'md5' : checksum
                }
            },
            ExpiresIn=constants.EXPIRES_IN
        )

    return presigned_upload_url

问题：返回HTTP 200但文件未存入S3？ #

我发现存在客户端上传返回HttpURLConnection.HTTP_OK，但文件并未成功上传至S3的情况。为验证上传正确性，我在上传后新增了验证步骤。

Java上传验证代码 #

private static boolean verifyUpload(String headUrl, String checksum) {
    boolean success = false;
    
    HttpURLConnection headConnection = null;

    try {
        headConnection = (HttpURLConnection) new URL(headUrl).openConnection();
        headConnection.setRequestMethod("HEAD");

        final int headResponseCode = headConnection.getResponseCode();
        if (headResponseCode == HttpURLConnection.HTTP_OK) {
            final String metaMd5 = headConnection.getHeaderField("x-amz-meta-md5");

            success = checksum.equals(metaMd5);
        }
    } catch (MalformedURLException e) {
        Log.e(TAG, "", e);
    } catch (IOException e) {
        Log.e(TAG, "", e);
    } finally {
        if (headConnection != null) {
            headConnection.disconnect();
        }
    }

    return success;
}

Python生成预签名HEAD验证URL代码 #

def get_presigned_head_url(s3_client, customer_id, key):
    """
    Generate a pre-signed URL to perform a HEAD request on an S3 object.
    This URL allows the client to check if the upload was successful.
    """
    presigned_head_url = s3_client.generate_presigned_url(
        ClientMethod='head_object',
        Params={
            'Bucket': constants.S3_BUCKET_NAME, 
            'Key': get_user_folder_name(customer_id) + key
        },
        ExpiresIn=constants.EXPIRES_IN
    )

    return presigned_head_url

核心疑问 #

考虑到HTTP_OK并不总能代表S3上传成功，请问通过预签名HEAD URL校验checksum的方法能否可靠验证上传结果？

方案合理性分析 #

1. 为什么会出现HTTP 200但文件未上传成功？ #

S3返回200 OK通常意味着请求已被处理，但极端场景下可能存在：

• 网络中断发生在客户端收到响应后，但S3未完成对象持久化（概率极低，但分布式系统中存在理论可能）；
• 预签名URL生成时参数有误，比如Key路径错误，导致文件被上传到了其他路径，你查询的路径找不到文件；
• 客户端上传时的Content-Length与实际文件大小不符，S3接收了不完整的文件但返回了200（这种情况S3通常会返回400，但某些边缘场景可能存在例外）。

2. 预签名HEAD校验方案的可靠性 #

你的验证方案是可靠且合理的，原因如下：

• HEAD请求验证对象存在性：S3返回200 OK的HEAD请求，明确证明对象已成功存储在指定Key路径下；
• 校验MD5元数据：你在上传时将MD5存入自定义元数据x-amz-meta-md5，验证时比对该值，确保上传的文件内容与本地一致，避免了文件损坏或上传错误的情况；
• 预签名URL权限控制：通过服务端生成的预签名HEAD URL，确保客户端只能验证自己上传的文件，符合权限最小化原则。

3. 优化建议 #

• 强制校验Content-MD5：在生成预签名上传URL时，强制要求传入checksum，这样S3会自动比对客户端发送的Content-MD5头与实际文件的MD5值，不匹配则返回400错误，从源头避免上传错误文件；
• 处理HEAD请求的异常场景：在Java的verifyUpload方法中，除了200 OK，还需处理404（文件不存在）、403（权限问题）等响应码，明确区分不同失败原因；
• 增加重试机制：如果验证失败，客户端可以尝试重新上传（需注意幂等性，S3的PUT请求是幂等的，相同Key的重复上传会覆盖原文件）。

内容的提问来源于stack exchange，提问作者Cheok Yan Cheng