借助AWS SDK使用ThreadPool上传S3文件的问题排查

你的ThreadPool使用问题 #

• 主线程提前退出：控制台程序主线程把上传任务提交到ThreadPool后，没有等待逻辑就直接结束，导致整个进程被终止，后台上传线程也被强制中断，表现为程序“立即停止并崩溃”。
• 重复并发控制冲突：你已经开启了UploadFilesConcurrently = true，AWS TransferUtility内部已经自带并发上传的线程调度逻辑，手动调用ThreadPool.SetMaxThreads(100, 100)会干扰其内部资源管理，可能引发不可预期的线程竞争或资源耗尽。
• 未初始化核心实例：代码中直接使用transferUtility但未展示初始化逻辑，如果该实例为null，会直接抛出NullReferenceException导致程序崩溃。

正确实现逻辑 #

1. 让主线程等待任务完成：使用同步信号或Task等待机制，确保上传任务完成前主线程不退出。
2. 利用TransferUtility原生并发配置：通过TransferUtilityUploadDirectoryRequest的ConcurrentServiceRequests属性设置并发数，无需手动修改全局线程池参数，更符合AWS SDK的设计逻辑。
3. 正确初始化TransferUtility：基于AmazonS3Client实例创建TransferUtility，确保服务客户端配置正确。

修正后的代码示例 #

using Amazon.S3;
using Amazon.S3.Transfer;
using System.Diagnostics;
using System.Threading;

class Program
{
    static void Main(string[] args)
    {
        string bucketName = "<<bucket-name>>";
        // 用ManualResetEvent等待上传任务完成
        var uploadCompletedEvent = new ManualResetEvent(false);

        // 提交任务到线程池
        ThreadPool.QueueUserWorkItem(obj =>
        {
            try
            {
                UploadFile(bucketName);
            }
            finally
            {
                // 任务完成后触发信号
                uploadCompletedEvent.Set();
            }
        });

        // 主线程等待上传完成，避免进程提前退出
        uploadCompletedEvent.WaitOne();
        Console.WriteLine("上传任务已完成");
    }

    static void UploadFile(string bucketName)
    {
        // 初始化S3客户端和TransferUtility
        using var s3Client = new AmazonS3Client();
        using var transferUtility = new TransferUtility(s3Client);

        string directoryName = @"D:\Files\100KB";
        
        try
        {
            var uploadDirectoryRequest = new TransferUtilityUploadDirectoryRequest
            {
                BucketName = bucketName,
                Directory = directoryName,
                KeyPrefix = "upload_dir",
                UploadFilesConcurrently = true,
                // 自定义并发数，根据需求调整，比如设为10
                ConcurrentServiceRequests = 10
            };

            var stopwatch = Stopwatch.StartNew();            
            transferUtility.UploadDirectory(uploadDirectoryRequest);
            stopwatch.Stop();
            
            Console.WriteLine($"Time Elapsed: {stopwatch.Elapsed}");
        }
        catch (AmazonS3Exception exception)
        {
            Console.WriteLine($"S3异常: {exception.Message}");                
        }
        catch (Exception exception)
        {
            Console.WriteLine($"通用异常: {exception.Message}");
        }
    }
}

内容的提问来源于stack exchange，提问作者knightrider95