如何本地加载HuggingFace模型结合LangChain部署Streamlit应用及报错排查

一、报错原因及解决 #

报错分析 #

{ "error": "Could not load model paragon-AI/blip2-image-to-text with any of the following classes: (<class 'transformers.models.blip_2.modeling_blip_2.Blip2ForConditionalGeneration'>,). See the original errors:

while loading with Blip2ForConditionalGeneration, an error is thrown:
Traceback (most recent call last):
File "/src/transformers/src/transformers/pipelines/base.py", line 269, in infer_framework_load_model
model = model_class.from_pretrained(model, **kwargs)
File "/src/transformers/src/transformers/modeling_utils.py", line 3138, in from_pretrained
raise EnvironmentError(
OSError: paragon-AI/blip2-image-to-text does not appear to have a file named pytorch_model.bin, tf_model.h5, model.ckpt or flax_model.msgpack.

"
}

这个报错的核心原因是paragon-AI/blip2-image-to-text模型仓库中缺少预训练权重文件（如pytorch_model.bin），可能是模型上传不完整、仓库为空，或是仅包含配置文件但无实际权重。

解决方法 #

• 替换为官方或已验证的BLIP-2模型，例如Salesforce/blip2-opt-2.7b、Salesforce/blip2-flan-t5-xl等，这些模型仓库包含完整的预训练权重。
• 若坚持使用该模型，需确认仓库是否有权重文件，或联系模型上传者补充权重。

二、本地加载HuggingFace模型+LangChain+Streamlit部署实现 #

核心步骤说明 #

1. 安装依赖：确保安装transformers、langchain、streamlit、torch、pillow等必要库。
2. 本地加载模型：使用transformers的AutoProcessor和AutoModelForConditionalGeneration加载模型，避免调用HuggingFace API，改为本地推理。
3. 结合LangChain：将模型封装为LangChain的工具或链，实现更灵活的流程控制。
4. Streamlit部署：构建UI界面，处理图片上传、推理展示。

修改后的完整代码 #

import streamlit as st
from PIL import Image
from transformers import AutoProcessor, AutoModelForConditionalGeneration
from langchain.chains import LLMChain
from langchain.prompts import PromptTemplate
import torch

# 配置模型参数
MODEL_NAME = "Salesforce/blip2-opt-2.7b"
DEVICE = "cuda" if torch.cuda.is_available() else "cpu"

# 加载模型和处理器（缓存避免重复加载）
@st.cache_resource
def load_model():
    processor = AutoProcessor.from_pretrained(MODEL_NAME)
    model = AutoModelForConditionalGeneration.from_pretrained(
        MODEL_NAME,
        torch_dtype=torch.float16 if DEVICE == "cuda" else torch.float32,
        device_map="auto"
    )
    return processor, model

processor, model = load_model()

# 构建LangChain图片描述链
def build_caption_chain():
    prompt = PromptTemplate(
        input_variables=["image"],
        template="请详细描述这张图片的内容：{image}"
    )
    
    # 封装BLIP-2为LangChain可调用的逻辑
    def generate_caption(image):
        inputs = processor(images=image, return_tensors="pt").to(DEVICE, torch.float16 if DEVICE == "cuda" else torch.float32)
        output = model.generate(**inputs, max_new_tokens=200)
        return processor.decode(output[0], skip_special_tokens=True)
    
    # 自定义LLM包装类适配LangChain
    class BLIP2LLM:
        def __call__(self, prompt):
            # 从会话状态获取上传的图片
            return generate_caption(st.session_state["uploaded_image"])
    
    llm = BLIP2LLM()
    return LLMChain(prompt=prompt, llm=llm)

caption_chain = build_caption_chain()

def main():
    st.title("图片转文本工具（本地部署）")

    # 上传图片文件
    uploaded_file = st.file_uploader("上传图片", type=["jpg", "jpeg", "png"])

    if uploaded_file is not None:
        # 显示上传的图片
        image = Image.open(uploaded_file).convert("RGB")
        st.image(image, caption="上传的图片", use_column_width=True)
        st.session_state["uploaded_image"] = image

        # 生成图片描述
        st.subheader图片描述")
        if st.button("生成描述"):
            with st.spinner("正在生成描述..."):
                result = caption_chain.run(image=image)
                st.write(result)

if __name__ == "__main__":
    main()

关键说明 #

• 模型缓存：使用st.cache_resource缓存模型，避免每次运行都重新加载，大幅提升启动速度。
• 设备适配：自动检测GPU并启用CUDA加速，无GPU时自动切换为CPU推理。
• LangChain集成：将BLIP-2模型封装为LangChain兼容的LLM类，结合PromptTemplate构建推理链，方便后续扩展多步骤逻辑。
• 本地推理：完全在本地运行，无需调用外部API，避免网络延迟和API调用限制。

部署运行 #

1. 安装依赖：

pip install streamlit transformers langchain torch pillow accelerate

2. 启动Streamlit应用：

streamlit run your_script_name.py

内容的提问来源于stack exchange，提问作者Sama Hossameldin