如何程序化下载Universal Sentence Encoder并从本地加载

当然可以通过TensorFlow Hub提供的工具完成模型的程序化下载和本地加载，具体步骤如下：

一、程序化下载模型到本地 #

有两种常用方式可以将模型下载到本地文件系统：

方式1：加载在线模型后保存到本地 #

先加载在线模型，再将其保存到指定本地路径：

import tensorflow_hub as hub

# 加载在线模型
model = hub.load("https://tfhub.dev/google/universal-sentence-encoder-multilingual-large/3")
# 指定本地保存路径
local_model_dir = "./use_multilingual_large"
# 保存模型到本地
model.save(local_model_dir)

方式2：直接下载模型到本地（无需提前加载） #

使用hub.download函数直接将模型文件下载到本地：

import tensorflow_hub as hub

model_url = "https://tfhub.dev/google/universal-sentence-encoder-multilingual-large/3"
local_model_dir = "./use_multilingual_large"
# 直接下载模型到指定路径
hub.download(model_url, local_model_dir)

二、从本地文件系统加载模型 #

下载完成后，只需将hub.load的参数替换为本地模型路径即可：

import tensorflow_hub as hub

# 本地模型路径
local_model_dir = "./use_multilingual_large"
# 加载本地模型
model = hub.load(local_model_dir)

# 验证模型可用性
test_sentences = ["你好世界", "Hello World"]
embeddings = model(test_sentences)
print(f"生成的嵌入向量形状：{embeddings.shape}")

注意事项 #

• 确保本地路径有读写权限，避免保存或加载时出现权限错误
• 下载完成后，后续加载无需联网，可离线使用模型

内容的提问来源于stack exchange，提问作者Jithin P James