GAE加载SentenceTransformer模型过慢，如何优化？是否需改用Google Cloud其他服务？

在Google App Engine（GAE）托管基于Python和Flask的网站，集成文本相似度功能使用sentence-transformers实现：

• requirements.txt中添加CPU版本torch依赖：

  torch @ https://download.pytorch.org/whl/cpu/torch-2.2.1%2Bcpu-cp311-cp311-linux_x86_64.whl 
  sentence-transformers==2.4.0
  

• 最初直接从远程加载模型：

  from sentence_transformers import SentenceTransformer
  model = SentenceTransformer('all-MiniLM-L6-v2')
  

  导致GAE实例创建时间从<1秒增至20秒以上。
• 将模型保存到项目目录后本地加载：

  model = SentenceTransformer('./idp_web_server/model')
  

  性能有所提升，但实例创建时间仍超15秒（移除模型加载语句后降至4秒）。更换为更高主频的B8实例未改善，推测为IO瓶颈，本地2.4GHz机器加载模型仅需1.7秒。

寻求优化方案，或是否需要迁移至Google Cloud其他服务。

1. 利用GAE本地临时存储（/tmp）加载模型 #

GAE实例的应用代码目录为网络挂载存储，IO性能远低于本地临时目录/tmp（基于实例本地SSD）。可将模型打包为压缩包，部署时包含在项目中，启动时解压至/tmp再加载：

import zipfile
import os
from sentence_transformers import SentenceTransformer

MODEL_ZIP_PATH = "./model.zip"
MODEL_TMP_DIR = "/tmp/model"

if not os.path.exists(MODEL_TMP_DIR):
    with zipfile.ZipFile(MODEL_ZIP_PATH, 'r') as zip_ref:
        zip_ref.extractall(MODEL_TMP_DIR)

model = SentenceTransformer(MODEL_TMP_DIR)

这种方式能大幅提升模型加载的IO速度，缩小与本地加载的差距。

2. 配置实例预热请求（Warmup Requests） #

启用GAE的预热请求功能，让实例在接收用户实际请求前完成模型加载，避免用户感知启动延迟：

1. 在app.yaml中添加配置：

automatic_scaling:
  warmup: true

2. 在Flask应用中处理预热请求：

@app.route('/_ah/warmup')
def warmup():
    # 触发模型加载逻辑
    global model
    model = SentenceTransformer('/tmp/model')  # 或对应模型路径
    return '', 200, {}

注意：预热请求仅对自动扩缩容的实例生效，且需要确保GAE的配额允许预热请求。

3. 模型轻量化优化 #

如果业务允许，更换更小的sentence-transformers模型，比如paraphrase-MiniLM-L3-v2，其模型体积更小，加载速度更快，同时保持足够的文本相似度计算精度。

4. 预编译模型为TorchScript格式 #

将模型转换为TorchScript格式，减少加载时的初始化开销：

# 本地提前转换模型
model = SentenceTransformer('all-MiniLM-L6-v2')
model.save('/path/to/torchscript_model', save_as_torchscript=True)

# GAE中加载转换后的模型
model = SentenceTransformer('/path/to/torchscript_model')

如果上述优化仍无法满足需求，可考虑以下服务：

• Cloud Run：容器化部署，支持自定义镜像，模型可直接打包在镜像中，从本地镜像加载的IO性能优于GAE的应用目录。同时支持自动扩缩容，启动速度通常优于GAE标准环境。
• Compute Engine：完全控制实例资源，可选择高IO性能的实例类型（如n2-highmem系列或带有本地SSD的实例），将模型存储在本地SSD上，彻底解决IO瓶颈。适合对性能和资源控制有较高要求的场景。
• Cloud Functions：适合轻量化的API场景，但冷启动问题仍存在，仅推荐当文本相似度功能可独立为无状态函数时使用。

内容的提问来源于stack exchange，提问作者Pierre Carbonnelle