Google Cloud Storage .Net Client 如何实现文件批量上传

Google Cloud Storage（GCS）底层原生API暂不支持单请求批量上传多个对象，所以官方.NET客户端也没有封装直接的「批量上传」方法，但你可以通过客户端侧并行调度的方式实现更高效率的批量上传，比现有串行遍历的方式性能提升非常明显。

以下是几种可行的实现方案：

• 方案1：并行上传（最通用，适配绝大多数场景）
  StorageClient本身是线程安全的，你可以直接复用同一个实例发起多个并行上传请求，只需要控制好并行度避免触发配额限制或者带宽占满即可，示例代码如下：

// 复用全局StorageClient实例，不需要每次创建
StorageClient client = StorageClient.Create();
// 配置并行度，可根据你的网络带宽、GCS配额调整，一般建议10~30
var parallelOptions = new ParallelOptions
{
    MaxDegreeOfParallelism = 20
};
Parallel.ForEach(files, parallelOptions, file =>
{
    // 注意如果每个文件的上传路径、contentType不同，要对应调整参数
    client.UploadObject(bucketName, uploadLocation, contentType, file);
});

如果你习惯用异步写法，也可以用Task.WhenAll实现：

StorageClient client = StorageClient.Create();
var uploadTasks = files.Select(file => 
    client.UploadObjectAsync(bucketName, uploadLocation, contentType, file)
);
// 等待所有上传任务完成
await Task.WhenAll(uploadTasks);

注意：异步写法如果文件量非常大，建议自行添加限流逻辑控制同时发起的请求数，避免请求过多导致报错

• 方案2：大文件场景搭配分块上传
  如果你的上传列表里有大于100MB的大文件，可以开启客户端的分块上传配置，配合并行上传的同时降低大文件上传失败重试的成本：

StorageClient client = StorageClient.Create();
// 配置单文件分块阈值，这里设为10MB，超过10MB的文件自动分块上传
client.UploadObjectOptions = new UploadObjectOptions
{
    ChunkSize = UploadObjectOptions.MinimumChunkSize * 2
};
// 后续走并行上传逻辑即可

• 方案3：大批量小文件场景打包上传
  如果你需要上传的是上千个体积很小的文件，可以先在本地打包为单个zip压缩包后上传，若业务侧需要云侧保持原文件结构，可配合GCS的事件触发器在上传完成后自动触发云端解压，这种方式可以大幅减少请求数，提升上传效率。

内容的提问来源于stack exchange，提问作者Devdrone Bhowmik