在GCP SDK Shell部署TensorFlow模型时遇部署包大小超限错误

核心原因 #

部署包超标的主要原因有两点：

1. TensorFlow依赖包体积过大：完整的tensorflow包（包含冗余的GPU支持组件）本身接近1GB，加上numpy、pillow等依赖，极易突破512MB的未压缩部署包限制。
2. 冗余文件未完全排除：你的.gcloudignore配置过于简略，本地目录中可能存在大文件（比如本地留存的adenocarcinoma_detection.h5模型文件、pip缓存、测试数据等）被误打包进部署包。

具体解决办法 #

1. 优化依赖包，缩小体积 #

• 在requirements.txt中用tensorflow-cpu替代tensorflow：Cloud Functions默认使用CPU运行环境，无需GPU支持的完整TensorFlow包，tensorflow-cpu体积大幅缩减。
• 只保留必要依赖：确保requirements.txt仅包含运行代码必需的包，示例如下：

  tensorflow-cpu>=2.x
  numpy
  pillow
  google-cloud-storage
  

2. 完善.gcloudignore配置 #

更新.gcloudignore，添加更多需要排除的冗余文件/目录，避免它们被打包：

/venv/
models/
*.h5
.cache/
__pycache__/
.pycharm/
.idea/
.ipynb_checkpoints/
models.config
test_images/

重点：如果本地部署目录下存在models/文件夹或.h5模型文件，必须排除，这类大文件会直接导致部署包超标。

3. 用依赖层分离大依赖 #

将TensorFlow这类大依赖打包成独立的Cloud Functions依赖层，依赖层体积不计入部署包限制：

1. 创建requirements-layer.txt，仅存放大依赖：

   tensorflow-cpu>=2.x
   numpy
   pillow
   

2. 构建并上传依赖层：

   gcloud functions deploy layers create tensorflow-layer --runtime python38 --requirements requirements-layer.txt --project adenocarcinoma-detection
   

3. 部署函数时指定依赖层：

   gcloud functions deploy predict --runtime python38 --trigger-http --memory 512 --project adenocarcinoma-detection --layers tensorflow-layer
   

4. 清理本地部署目录 #

检查部署目录，删除本地留存的大文件（比如下载的模型文件、测试数据集等），这类文件即便代码中不会用到，也会被默认打包进部署包。

内容的提问来源于stack exchange，提问作者Marcelo