关于HuggingFace零样本分类模型Web应用生产部署的技术咨询

• 无需额外训练模型：facebook/bart-large-mnli是预训练完成的零样本分类模型，你已经验证过它在你的任务上的准确率，完全不需要再做训练操作。

• 不建议用pickle保存模型：HuggingFace官方提供了专门的模型保存方法，用model.save_pretrained("./local_model")和tokenizer.save_pretrained("./local_model")来保存模型与分词器，pickle格式容易引发版本兼容问题，后续加载时大概率会出现报错，官方也不支持这种保存方式。

• 两种加载方式的输出一致性：只要你使用的模型、分词器版本一致，且推理时的参数（比如假设模板、是否多标签分类等）完全相同，不管是直接从HuggingFace Hub加载，还是加载本地用官方方法保存的模型，输出结果都会完全一致。

• 部署方案推荐：

  • 若部署环境有网络，直接在Gradio/Streamlit代码里通过pipeline("zero-shot-classification", model="facebook/bart-large-mnli")加载即可，代码简洁，还能自动同步模型的最新权重（如果有更新的话）。
  • 若处于离线环境，先在有网环境下用AutoModelForSequenceClassification.from_pretrained("facebook/bart-large-mnli")和AutoTokenizer.from_pretrained("facebook/bart-large-mnli")加载模型与分词器，用官方方法保存到本地后，再将保存文件传到离线环境，通过from_pretrained("./local_model")加载使用。

内容的提问来源于stack exchange，提问作者Franz