如何使用Python客户端库将GCS对象下载至GCP Vertex AI笔记本

前置准备 #

• 确保已安装Google Cloud Storage Python客户端库，若未安装，在笔记本终端执行：

  pip install google-cloud-storage
  

• Vertex AI笔记本默认已通过服务账号完成认证，无需额外手动登录；若遇到权限问题，可在终端执行gcloud auth application-default login完成本地认证。

下载代码示例 #

基础下载（小文件） #

直接将Blob下载到指定本地路径：

from google.cloud import storage

# 初始化GCS客户端
storage_client = storage.Client()

# 替换为你的存储桶名称和Blob路径
bucket_name = "your-bucket-name"
blob_path = "path/to/your/file.txt"

# 获取Bucket和Blob对象
bucket = storage_client.bucket(bucket_name)
blob = bucket.blob(blob_path)

# 替换为笔记本本地的目标路径
local_save_path = "./downloaded_file.txt"

# 执行下载
blob.download_to_filename(local_save_path)

print(f"文件已成功下载至：{local_save_path}")

流式下载（大文件） #

针对大文件，使用文件流方式避免内存占用过高：

from google.cloud import storage

storage_client = storage.Client()
bucket_name = "your-bucket-name"
blob_path = "path/to/large-file.zip"
local_save_path = "./large_file.zip"

bucket = storage_client.bucket(bucket_name)
blob = bucket.blob(blob_path)

with open(local_save_path, "wb") as file_stream:
    blob.download_to_file(file_stream)

print(f"大文件已成功下载至：{local_save_path}")

注意事项 #

• 确保Vertex AI笔记本关联的服务账号拥有目标GCS存储桶的读取权限（建议授予roles/storage.objectViewer角色）
• gs://your-bucket-name/path/to/file.txt格式的Blob，对应的bucket_name是your-bucket-name，blob_path是path/to/file.txt

内容的提问来源于stack exchange，提问作者keeponlearning101