Google Cloud JupyterLab中如何自动将训练好的TensorFlow模型保存至存储桶?
Google Cloud AI Notebooks环境下TensorFlow模型保存至GCS存储桶的实现方法
根目录写入报权限错的原因
AI Notebooks的系统根分区为只读挂载,和Colab的可写临时根目录逻辑不同,即使账号拥有全量IAM权限,也无法直接在/开头的系统路径下写入文件,这类路径属于系统分区,不对用户开放写权限。
可直接复用的实现代码
两种方案均可直接在Notebooks环境运行,无需额外安装依赖:
方案1:兼容现有blob上传逻辑的手动转存流程
流程步骤:
- 导入环境预装依赖
import tensorflow as tf from google.cloud import storage import os import shutil - 创建本地可写临时目录
JupyterLab环境中用户home目录为全权限可写,系统根路径不支持写入操作:# 定义home目录下的临时模型存储路径 local_model_temp_path = "./tmp_tf_model" os.makedirs(local_model_temp_path, exist_ok=True) - 将训练完成的TensorFlow模型保存到本地临时路径
和Colab环境下的保存逻辑完全一致,仅替换路径参数:# 替换为实际训练完成的模型实例 created_model.save(local_model_temp_path) - 遍历模型目录批量上传到存储桶
TensorFlow的SavedModel格式是包含权重、计算图、配置文件的文件夹结构,不是单个可直接上传的文件,因此需要遍历目录下的所有文件逐个上传,保持原有文件夹结构满足后续加载要求:# 替换为实际的存储桶参数 bucket_name = "你的GCS存储桶名称" gcs_model_dir = "tf_models/my_trained_model" # 存储桶内的模型存储路径 # 初始化存储客户端,环境自动完成认证,无需手动传入密钥 storage_client = storage.Client() bucket = storage_client.bucket(bucket_name) # 遍历本地模型目录,逐个上传文件 for root, _, files in os.walk(local_model_temp_path): for file in files: local_file_path = os.path.join(root, file) # 计算GCS端的相对路径,保持SavedModel的目录结构符合加载要求 relative_path = os.path.relpath(local_file_path, local_model_temp_path) gcs_blob_path = os.path.join(gcs_model_dir, relative_path) # 上传单个文件 blob = bucket.blob(gcs_blob_path) blob.upload_from_filename(local_file_path) - 清理本地临时文件
释放Notebooks磁盘空间:shutil.rmtree(local_model_temp_path)
方案2:TensorFlow原生快捷写法
TensorFlow 2.x 原生支持直接读写gs://前缀的GCS路径,不需要手动完成本地转存、批量上传的流程,代码精简为单步执行:
# 直接将模型保存到存储桶,TensorFlow自动处理目录结构、文件上传全流程 created_model.save("gs://你的GCS存储桶名称/tf_models/my_trained_model")
该方案仅要求Notebooks绑定的服务账号对目标存储桶具备对象写入权限,结合已配置的最高权限,可直接运行。
内容的提问来源于stack exchange,提问作者Alex Roseland
相关产品推荐
相关产品推荐

