gcloud beta AI平台创建模型版本时私有URI依赖加载异常求解
Google Cloud AI Platform 模型版本创建模块缺失报错处理
操作背景
执行以下命令创建AI Platform托管的模型版本时,流程校验未通过:
gcloud beta ai-platform versions create $VERSION_NAME \ --model $MODEL_NAME \ --runtime-version 2.3 \ --python-version 3.7 \ --origin gs://$BUCKET_NAME/dummy/v1/model/ \ --package-uris gs://$BUCKET_NAME/dummy/v1/dummy_diagnostic_model-0.1.tar.gz \ --prediction-class predictor.MyPredictor
报错详情
命令执行后返回如下错误,提示模型加载失败:
ERROR: (gcloud.beta.ai-platform.versions.create) Create Version failed. Bad model detected with error: "Failed to load model: Unexpected error when loading the model: No module named 'k' (Error code: 0)"
本地验证结果
同一份自定义模型包在本地执行pip安装命令,可正常完成依赖安装与包部署,不存在包本身的结构损坏问题:
pip install --upgrade --target=/tmp/custom_lib --no-cache-dir -b /tmp/pip_builds dist/dummy_diagnostic_model-0.1.tar.gz
问题成因推测
结合本地安装正常、云端加载失败的差异,初步判断问题根源为AI Platform托管运行环境未配置GitLab私有源的访问令牌,模型加载时无法在线拉取托管在GitLab私有源下的依赖资源,最终触发模块找不到的加载报错。
可行解决方法
- 全量内置依赖到自定义分发包:本地构建自定义模型包时,将所有原本需要从GitLab私有源拉取的依赖全部提前下载,打包进
dummy_diagnostic_model-0.1.tar.gz的安装目录中,在setup.py配置本地依赖索引,让云端运行环境无需访问外部私有源即可完成所有依赖安装,从根源上避免认证问题。 - 替换私有依赖的托管位置:把所有GitLab上的私有依赖同步到GCP Artifact Registry的Python私有仓库,配置AI Platform运行环境默认拥有该仓库的拉取权限,替换原requirements.txt里的GitLab源地址为Artifact Registry的仓库地址,绕开GitLab的认证流程。
- 按需注入私有源认证逻辑:如果需要保留GitLab源的拉取能力,可以把GitLab访问令牌存储在GCP Secret Manager中,通过AI Platform的自定义运行环境配置,在实例启动时把令牌注入为pip可识别的环境变量,在模型初始化的前置阶段完成pip的私有源认证配置,注意禁止把明文访问令牌硬编码进自定义包代码中。
内容的提问来源于stack exchange,提问作者Tsvi Sabo
相关产品推荐
相关产品推荐

