Azure Blob Storage批量文件上传失败（BlockBlobClient）求助

你遇到的批量上传失败问题，核心原因是瞬间发起的并发请求数超出了客户端连接池限制或Azure Storage的限流阈值，导致服务器返回500内部错误。以下是具体的修复方案和优化建议：

1. 核心问题：无控制的并发请求 #

你当前的代码用files.map(async file => ...)会一次性创建所有异步上传请求，瞬间占用大量HTTP连接。Node.js默认的HTTP连接池最大并发数仅为5左右，当请求数达到50-100+时，会出现连接排队、超时或被服务器限流的情况，最终触发500错误。

2. 修复步骤 #

2.1 控制并发请求数 #

通过分批处理或并发限制工具，将同时上传的请求数控制在合理范围（建议10-20个），避免瞬间压垮连接池或服务器。

方案一：手动分批处理

async function uploadFilesInBatches(files, containerClient, batchSize = 10) {
  const results = [];
  for (let i = 0; i < files.length; i += batchSize) {
    // 截取当前批次的文件
    const batch = files.slice(i, i + batchSize);
    // 并行处理当前批次
    const batchResults = await Promise.all(
      batch.map(file => uploadToBlob(file, containerClient))
    );
    results.push(...batchResults);
    // 可选：批次间加短暂延迟，降低服务器压力
    await new Promise(resolve => setTimeout(resolve, 500));
  }
  return results;
}

// 调用示例
if (!files.length) return [];
try {
  console.log('length of files: ', files.length);
  // 提前创建容器客户端，避免重复调用
  const containerClient = await createBlobContainer(blobServiceClient, containerName);
  const uploadResults = await uploadFilesInBatches(files, containerClient, 10);
  return uploadResults;
} catch (err) {
  console.error('批量上传失败:', err);
  throw err;
}

方案二：使用p-limit库控制并发（更简洁）

安装依赖：npm install p-limit

const pLimit = require('p-limit');
// 限制同时上传的请求数为10
const limit = pLimit(10);

if (!files.length) return [];
try {
  console.log('length of files: ', files.length);
  const containerClient = await createBlobContainer(blobServiceClient, containerName);
  // 用limit包装上传函数，控制并发
  const uploadPromises = files.map(file => limit(() => uploadToBlob(file, containerClient)));
  const uploadResults = await Promise.all(uploadPromises);
  return uploadResults;
} catch (err) {
  console.error('批量上传失败:', err);
  throw err;
}

2.2 复用容器客户端 #

你当前的uploadToBlob函数每次都会调用createBlobContainer，这会重复发起"检查容器是否存在"的API请求，造成不必要的资源浪费。建议提前创建一次容器客户端，在所有上传请求中复用：

// 修改后的uploadToBlob，复用传入的containerClient
async function uploadToBlob(file, containerClient) {
  const blobName = /* 你的blob名称生成逻辑 */;
  const content = /* 文件内容获取逻辑 */;
  
  const blockBlobClient = containerClient.getBlockBlobClient(blobName);
  const uploadBlobResponse = await blockBlobClient.upload(
    content, 
    Buffer.byteLength(content)
  );

  console.log(`Upload block blob ${blobName} successfully. Request id: `, uploadBlobResponse.requestId);
  return uploadBlobResponse;
}

2.3 针对大文件优化上传方式 #

如果上传的文件较大（超过100MB），建议使用uploadFile或uploadStream方法替代upload，这两个方法会自动分块上传，更稳定：

// 本地文件路径上传示例
const uploadBlobResponse = await blockBlobClient.uploadFile(filePath);

// 流上传示例（适合大文件）
const stream = fs.createReadStream(filePath);
const uploadBlobResponse = await blockBlobClient.uploadStream(stream);

2.4 配置SDK的重试与连接池参数 #

在创建BlobServiceClient时，增加重试次数并调整连接池大小，提升上传稳定性：

const https = require('https');
const { BlobServiceClient } = require('@azure/storage-blob');

const blobServiceClient = BlobServiceClient.fromConnectionString(yourConnectionString, {
  retryOptions: {
    maxTries: 3, // 增加重试次数
    retryDelayInMs: 1000, // 重试间隔
  },
  httpClient: {
    agent: new https.Agent({
      maxSockets: 20, // 增大连接池最大连接数
      keepAlive: true, // 开启连接复用
    })
  }
});

3. 为什么之前的分块处理无效？ #

如果你的分块处理只是对单个文件分块，但仍然一次性发起所有文件的上传请求，那么并发数超标的问题依然存在。必须结合请求级别的并发控制才能解决问题。

内容的提问来源于stack exchange，提问作者LEGENDA