You need to enable JavaScript to run this app. C#基于列文件代码实现Google Cloud Storage Bucket文件自动下载
优惠活动
大模型
产品
解决方案
定价
更多

C#基于列文件代码实现Google Cloud Storage Bucket文件自动下载

基于现有列文件逻辑的GCS自动下载实现

你现有的遍历列取Bucket文件的逻辑完全可以直接复用,只需要在循环遍历每个存储对象的环节追加下载逻辑,配合本地目录的自动创建、无效对象过滤、流资源释放的细节处理,就能实现全量文件自动下载到本地的功能。

改造后完整可运行代码

// 基础配置,请替换为你自己的实际参数
string bucketName = "你的GCS Bucket实际名称";
string localSaveRootPath = @"D:\GCS_Downloads"; // 本地下载保存的根目录

GoogleCredential credential = null;
using (var jsonStream = new FileStream(@"D:\data.json", FileMode.Open,
    FileAccess.Read, FileShare.Read))
{
    credential = GoogleCredential.FromStream(jsonStream);
}
var storageClient = StorageClient.Create(credential);

// 遍历列取Bucket内所有对象
foreach (var obj in storageClient.ListObjects(bucketName, ""))
{
    // 自动跳过Bucket内的文件夹占位空对象(名称以/结尾的0字节标记对象),避免下载无效内容
    if (obj.Name.EndsWith("/"))
    {
        Console.WriteLine($"跳过占位文件夹:{obj.Name}");
        continue;
    }

    // 按照Bucket内的文件层级,映射本地保存路径
    string localFullSavePath = Path.Combine(localSaveRootPath, obj.Name);
    string localFileDirectory = Path.GetDirectoryName(localFullSavePath);
    
    // 本地目录不存在时递归创建层级文件夹
    if (!Directory.Exists(localFileDirectory))
    {
        Directory.CreateDirectory(localFileDirectory);
    }

    Console.WriteLine($"开始下载:{obj.Name}");
    // 打开本地文件流,将远程对象内容写入磁盘
    using var writeStream = new FileStream(localFullSavePath, FileMode.Create, FileAccess.Write);
    storageClient.DownloadObject(bucketName, obj.Name, writeStream);
}

Console.WriteLine("所有有效文件下载完成");

关键实现细节说明

  • 完全保留了你原有的认证、列取文件的全流程逻辑,不需要改动已经跑通的认证部分代码
  • 自动过滤Bucket内用来标记文件夹的空占位对象,不会把这类无实际内容的0字节对象下载到本地
  • 完全匹配Bucket内的文件目录结构,下载后本地的文件夹层级和远端Bucket保持一致,不会出现所有文件混杂在根目录的问题
  • 所有文件读写流都通过using语句自动释放,不会出现文件句柄被占用、无法移动或删除本地文件的问题
  • 仅需要认证用的服务账号拥有storage.objects.get基础权限即可完成下载,不需要额外申请高权限

补充优化提示:如果需要下载的文件数量超过上千个,可以将同步遍历下载调整为带限流的并行下载,设置最大并行度为3-4,避免短时间发起过多请求触发GCS接口的限流规则;如果遇到Windows路径不允许的非法字符报错,可以在拼接本地保存路径时,将文件名内的:、*、?这类系统不允许的字符替换为下划线即可。


内容的提问来源于stack exchange,提问作者Steve

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.17 16:36:04