如何在requirements.txt及Pipenv中指定HuggingFace模型特定版本

一、requirements.txt 实现方式 #

HuggingFace模型仓库本质是Git仓库，可通过pip的Git依赖语法直接指定特定commit版本。将以下内容添加到你的requirements.txt文件中：

git+https://huggingface.co/facebook/bart-large-mnli.git@df7df4d2107d3882675bfd5ad50db1aa8dd7d7be

如果需要为该依赖指定别名（方便后续引用），可以加上#egg=后缀：

git+https://huggingface.co/facebook/bart-large-mnli.git@df7df4d2107d3882675bfd5ad50db1aa8dd7d7be#egg=bart-large-mnli

二、Pipenv 实现方式 #

Pipenv支持直接安装Git仓库的特定版本，执行以下命令即可将指定commit的模型添加到依赖中：

pipenv install git+https://huggingface.co/facebook/bart-large-mnli.git@df7df4d2107d3882675bfd5ad50db1aa8dd7d7be#egg=bart-large-mnli

该命令会自动更新Pipfile和Pipfile.lock，锁定模型的特定commit版本。

补充说明 #

如果你的需求只是确保transformers库加载模型权重时使用该特定版本，无需在依赖文件中指定模型仓库，只需在代码里通过revision参数指定commit哈希即可：

from transformers import AutoModel

model = AutoModel.from_pretrained(
    "facebook/bart-large-mnli",
    revision="df7df4d2107d3882675bfd5ad50db1aa8dd7d7be"
)

内容的提问来源于stack exchange，提问作者acortis