AWS预签名URL下载速度过慢求助：如何提升下载性能？

阿华AIGC实验室

2026-5-11

提升AWS S3预签名URL下载速度的优化方案

问题核心分析

从你的代码和描述来看，当前下载性能瓶颈主要集中在这几个关键点：

重复创建S3客户端：循环内每次都新建AmazonS3Client，会重复执行连接初始化、配置加载等操作，带来大量不必要的资源开销；
串行下载模式：完全没利用S3的高吞吐量特性，单个文件的卡顿会直接拖慢整体下载进度；
未合理利用并行传输能力：之前尝试的异步工具效果不佳，大概率是因为客户端管理不当或并行配置不到位，没发挥出S3的性能潜力。

具体优化方案

1. 复用S3客户端实例

AmazonS3Client虽非线程安全，但不需要每次下载都新建一个。你可以为每个工作线程创建独立的客户端实例，或者通过线程池管理客户端的生命周期，避免重复初始化的开销。

2. 使用AWS TransferManager实现并行下载

TransferManager是AWS SDK专为批量/大文件传输设计的工具，它会自动处理多线程调度、分片下载，完美适配S3的高吞吐量特性，不用自己手动管理线程逻辑。

改造后的示例代码：

public void cloudGetMedia(ArrayList<MediaSyncObj> mediaObjs, ArrayList<String> signedUrls) {
    long getTime = System.currentTimeMillis();
    String toDiskDir = DirectoryMgr.getMediaPath('M');
    File diskFile = new File(toDiskDir);
    FileOpsUtil.folderExists(diskFile);

    // 初始化TransferManager，建议全局复用该实例，避免重复创建开销
    TransferManager transferManager = TransferManagerBuilder.standard()
            .withS3Client(AmazonS3ClientBuilder.standard().build())
            .withMultipartUploadThreshold((long) (5 * 1024 * 1024)) // 5MB以上文件自动启用分片下载
            .withExecutorService(Executors.newFixedThreadPool(10)) // 根据服务器资源调整线程数，建议8-16起步
            .build();

    List<Download> downloadTasks = new ArrayList<>();

    for(String signedurl : signedUrls) {
        LOGGER.debug("cloudGetMedia called. signedURL is null: {}", signedurl == null);
        try {
            URI fileToBeDownloaded = new URI(signedurl);
            AmazonS3URI s3URI = new AmazonS3URI(fileToBeDownloaded);
            String localFilePath = toDiskDir + "/" + s3URI.getKey();
            File localFile = new File(localFilePath);

            URL url = new URL(signedurl);
            PresignedUrlDownloadRequest downloadReq = new PresignedUrlDownloadRequest(url);
            
            // 提交异步下载任务
            Download download = transferManager.download(downloadReq, localFile);
            downloadTasks.add(download);
        } catch (URISyntaxException | MalformedURLException e) {
            LOGGER.warn("处理预签名URL失败: {}", e.getMessage());
            e.printStackTrace();
        }
    }

    // 等待所有下载任务完成
    for (Download task : downloadTasks) {
        try {
            task.waitForCompletion();
        } catch (InterruptedException | AmazonServiceException | AmazonClientException e) {
            LOGGER.error("文件下载失败: {}", e.getMessage());
            e.printStackTrace();
        }
    }

    // 若TransferManager为局部创建则关闭，全局复用的话无需此步骤
    transferManager.shutdownNow();

    getTime = (System.currentTimeMillis() - getTime);
    LOGGER.debug("Total get time in syncCloudMediaAction: {} milliseconds, numElement: {}", getTime, signedUrls.size());
}