You need to enable JavaScript to run this app. Google Cloud JupyterLab中如何自动将训练好的TensorFlow模型保存至存储桶?
优惠活动
大模型
产品
解决方案
定价
更多

Google Cloud JupyterLab中如何自动将训练好的TensorFlow模型保存至存储桶?

Google Cloud AI Notebooks环境下TensorFlow模型保存至GCS存储桶的实现方法

根目录写入报权限错的原因

AI Notebooks的系统根分区为只读挂载,和Colab的可写临时根目录逻辑不同,即使账号拥有全量IAM权限,也无法直接在/开头的系统路径下写入文件,这类路径属于系统分区,不对用户开放写权限。

可直接复用的实现代码

两种方案均可直接在Notebooks环境运行,无需额外安装依赖:

方案1:兼容现有blob上传逻辑的手动转存流程

流程步骤:

  • 导入环境预装依赖
    import tensorflow as tf
    from google.cloud import storage
    import os
    import shutil
    
  • 创建本地可写临时目录
    JupyterLab环境中用户home目录为全权限可写,系统根路径不支持写入操作:
    # 定义home目录下的临时模型存储路径
    local_model_temp_path = "./tmp_tf_model"
    os.makedirs(local_model_temp_path, exist_ok=True)
    
  • 将训练完成的TensorFlow模型保存到本地临时路径
    和Colab环境下的保存逻辑完全一致,仅替换路径参数:
    # 替换为实际训练完成的模型实例
    created_model.save(local_model_temp_path)
    
  • 遍历模型目录批量上传到存储桶
    TensorFlow的SavedModel格式是包含权重、计算图、配置文件的文件夹结构,不是单个可直接上传的文件,因此需要遍历目录下的所有文件逐个上传,保持原有文件夹结构满足后续加载要求:
    # 替换为实际的存储桶参数
    bucket_name = "你的GCS存储桶名称"
    gcs_model_dir = "tf_models/my_trained_model"  # 存储桶内的模型存储路径
    
    # 初始化存储客户端,环境自动完成认证,无需手动传入密钥
    storage_client = storage.Client()
    bucket = storage_client.bucket(bucket_name)
    
    # 遍历本地模型目录,逐个上传文件
    for root, _, files in os.walk(local_model_temp_path):
        for file in files:
            local_file_path = os.path.join(root, file)
            # 计算GCS端的相对路径,保持SavedModel的目录结构符合加载要求
            relative_path = os.path.relpath(local_file_path, local_model_temp_path)
            gcs_blob_path = os.path.join(gcs_model_dir, relative_path)
            
            # 上传单个文件
            blob = bucket.blob(gcs_blob_path)
            blob.upload_from_filename(local_file_path)
    
  • 清理本地临时文件
    释放Notebooks磁盘空间:
    shutil.rmtree(local_model_temp_path)
    

方案2:TensorFlow原生快捷写法

TensorFlow 2.x 原生支持直接读写gs://前缀的GCS路径,不需要手动完成本地转存、批量上传的流程,代码精简为单步执行:

# 直接将模型保存到存储桶,TensorFlow自动处理目录结构、文件上传全流程
created_model.save("gs://你的GCS存储桶名称/tf_models/my_trained_model")

该方案仅要求Notebooks绑定的服务账号对目标存储桶具备对象写入权限,结合已配置的最高权限,可直接运行。


内容的提问来源于stack exchange,提问作者Alex Roseland

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.08 03:36:03