Azcopy Java SDK传输性能优化咨询：本地到Blob传输慢于CLI

我之前也碰到过AzCopy Java SDK和CLI之间的性能差距问题，结合你的测试情况（并发数超过2后无明显提升），咱们从几个核心方向来优化：

1. 对齐CLI的分块大小与并发数配置 #

AzCopy CLI默认会根据文件大小自动调整分块（比如1GB文件默认用100MB分块），同时默认并发数设为8（或根据CPU核心数动态调整）。而Java SDK的默认配置偏保守（比如默认分块4MB、并发数1），这是性能差距的核心原因之一：

• 调整分块大小：将分块大小设置为100MB（和CLI对齐），减少请求开销。注意分块总数不能超过50000，大文件要按这个限制计算合适的分块大小。
• 匹配并发数：分块大小调大后，把并发数提到8~16（根据你的网络带宽调整），避免因分块数量不足导致并发无法充分利用。

示例代码调整：

CloudBlockBlob blob = container.getBlockBlobReference("your-target-blob");
UploadFromFileOptions uploadOptions = new UploadFromFileOptions()
    .setBlockSizeLong(100 * 1024 * 1024) // 100MB 分块
    .setParallelism(8); // 8个并发分块上传

blob.uploadFromFile("local-file-path", uploadOptions);

2. 优化HTTP连接池配置 #

SDK默认的HTTP连接池大小有限，当并发数上去后，会出现连接等待的情况，导致性能无法提升。你需要手动调整连接池的最大连接数：

CloudBlobClient blobClient = storageAccount.createCloudBlobClient();
HttpClient httpClient = HttpClient.createDefault();
// 调整单路由最大连接数和总连接数
httpClient.getProperties().setMaxConnectionsPerRoute(16);
httpClient.getProperties().setMaxConnectionsTotal(64);
blobClient.setHttpClient(httpClient);

这样能确保并发请求有足够的可用连接，不会因为连接池耗尽而阻塞。

3. 复用核心实例，避免重复创建 #

如果你的代码每次上传都重新创建CloudStorageAccount、CloudBlobContainer或CloudBlockBlob实例，会产生大量初始化开销。这些实例是线程安全的，建议全局复用：

// 初始化一次即可，不要每次上传都创建
CloudStorageAccount storageAccount = CloudStorageAccount.parse(your-connection-string);
CloudBlobClient blobClient = storageAccount.createCloudBlobClient();
CloudBlobContainer container = blobClient.getContainerReference("your-container");
container.createIfNotExists(); // 仅首次运行创建

4. 调整重试与超时策略 #

SDK默认的重试策略可能过于保守，导致网络波动时重试不及时，影响整体速度。可以设置更合理的重试策略：

BlobRequestOptions requestOptions = new BlobRequestOptions();
// 设置指数退避重试，最多5次，初始间隔1秒
requestOptions.setRetryPolicyFactory(new ExponentialRetry(1000, 5));
requestOptions.setMaximumExecutionTimeInMs(300000); // 5分钟超时，避免长时间阻塞

// 上传时传入配置
blob.uploadFromFile("local-file-path", uploadOptions, requestOptions);

5. 关闭不必要的额外操作 #

• 如果对性能要求极高且能接受少量风险，可以关闭事务MD5校验：requestOptions.setUseTransactionalMD5(false)；
• 检查是否有高频日志输出、监控埋点等额外操作，上传期间可以暂时调低日志级别，减少资源占用。

按照以上步骤调整后，你应该能看到SDK的传输性能接近CLI的水平。如果还是有差距，可以抓包对比SDK和CLI的请求模式，看看是否还有配置项没对齐。

内容的提问来源于stack exchange，提问作者harish bollina