C#基于列文件代码实现Google Cloud Storage Bucket文件自动下载
基于现有列文件逻辑的GCS自动下载实现
你现有的遍历列取Bucket文件的逻辑完全可以直接复用,只需要在循环遍历每个存储对象的环节追加下载逻辑,配合本地目录的自动创建、无效对象过滤、流资源释放的细节处理,就能实现全量文件自动下载到本地的功能。
改造后完整可运行代码
// 基础配置,请替换为你自己的实际参数 string bucketName = "你的GCS Bucket实际名称"; string localSaveRootPath = @"D:\GCS_Downloads"; // 本地下载保存的根目录 GoogleCredential credential = null; using (var jsonStream = new FileStream(@"D:\data.json", FileMode.Open, FileAccess.Read, FileShare.Read)) { credential = GoogleCredential.FromStream(jsonStream); } var storageClient = StorageClient.Create(credential); // 遍历列取Bucket内所有对象 foreach (var obj in storageClient.ListObjects(bucketName, "")) { // 自动跳过Bucket内的文件夹占位空对象(名称以/结尾的0字节标记对象),避免下载无效内容 if (obj.Name.EndsWith("/")) { Console.WriteLine($"跳过占位文件夹:{obj.Name}"); continue; } // 按照Bucket内的文件层级,映射本地保存路径 string localFullSavePath = Path.Combine(localSaveRootPath, obj.Name); string localFileDirectory = Path.GetDirectoryName(localFullSavePath); // 本地目录不存在时递归创建层级文件夹 if (!Directory.Exists(localFileDirectory)) { Directory.CreateDirectory(localFileDirectory); } Console.WriteLine($"开始下载:{obj.Name}"); // 打开本地文件流,将远程对象内容写入磁盘 using var writeStream = new FileStream(localFullSavePath, FileMode.Create, FileAccess.Write); storageClient.DownloadObject(bucketName, obj.Name, writeStream); } Console.WriteLine("所有有效文件下载完成");
关键实现细节说明
- 完全保留了你原有的认证、列取文件的全流程逻辑,不需要改动已经跑通的认证部分代码
- 自动过滤Bucket内用来标记文件夹的空占位对象,不会把这类无实际内容的0字节对象下载到本地
- 完全匹配Bucket内的文件目录结构,下载后本地的文件夹层级和远端Bucket保持一致,不会出现所有文件混杂在根目录的问题
- 所有文件读写流都通过
using语句自动释放,不会出现文件句柄被占用、无法移动或删除本地文件的问题 - 仅需要认证用的服务账号拥有
storage.objects.get基础权限即可完成下载,不需要额外申请高权限
补充优化提示:如果需要下载的文件数量超过上千个,可以将同步遍历下载调整为带限流的并行下载,设置最大并行度为3-4,避免短时间发起过多请求触发GCS接口的限流规则;如果遇到Windows路径不允许的非法字符报错,可以在拼接本地保存路径时,将文件名内的
:、*、?这类系统不允许的字符替换为下划线即可。
内容的提问来源于stack exchange,提问作者Steve
相关产品推荐
相关产品推荐

