如何在LangChain中使用微调LLM？合规替代方案及Ollama适用性咨询

一、LangChain中直接使用本地/私有微调模型 #

无需上传至HuggingFace，可通过HuggingFacePipeline直接加载本地存储的微调模型文件，步骤如下：

1. 安装依赖
   确保已安装必要库：

pip install langchain transformers accelerate torch

2. 加载本地模型并集成到LangChain

from langchain.llms import HuggingFacePipeline
from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline

# 替换为你的本地微调模型路径
model_path = "./fine-tuned-llama3"

# 加载tokenizer和模型
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    device_map="auto",  # 自动分配GPU/CPU资源
    trust_remote_code=True  # 若模型有自定义代码需开启
)

# 创建文本生成pipeline
text_gen_pipeline = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
    max_new_tokens=512,
    temperature=0.7,
    top_p=0.9
)

# 封装为LangChain兼容的LLM实例
llm = HuggingFacePipeline(pipeline=text_gen_pipeline)

# 测试问卷推荐调用
prompt = "研究目的：用户对生鲜电商的满意度调研，需收集配送时效、商品新鲜度、客服服务三个维度的数据，推荐合适的问卷结构"
response = llm.invoke(prompt)
print(response)

二、替代HuggingFace的私有部署方案 #

除本地直接加载外，还有两种适合企业私有环境的方案：

1. 私有模型仓库存储与加载 #

将微调模型文件存储在公司内部的私有存储（如MinIO、内部Git仓库、NAS），通过transformers的from_pretrained直接指定私有路径加载，逻辑与本地加载一致，仅需将model_path替换为私有存储的访问路径（如s3://private-model-bucket/fine-tuned-llama3，需配置对应存储的访问权限）。

2. 封装私有API调用 #

将微调模型封装为内部REST API，LangChain通过兼容OpenAI格式的接口调用：

• 第一步：用FastAPI搭建私有API服务

# api_service.py
from fastapi import FastAPI, Body
from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline

app = FastAPI(title="问卷推荐LLM服务")

# 加载本地微调模型
model_path = "./fine-tuned-llama3"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, device_map="auto")
text_gen_pipeline = pipeline("text-generation", model=model, tokenizer=tokenizer)

@app.post("/generate/questionnaire")
def generate_questionnaire(prompt: str = Body(..., embed=True)):
    result = text_gen_pipeline(prompt, max_new_tokens=512)[0]["generated_text"]
    return {"response": result}

启动服务：

uvicorn api_service:app --host 0.0.0.0 --port 8000

• 第二步：LangChain调用私有API

from langchain.llms import OpenAI

llm = OpenAI(
    base_url="http://your-internal-api-url:8000/generate/questionnaire",
    api_key="internal-token",  # 可自定义身份验证token
    max_tokens=512
)

response = llm.invoke("研究目的：青少年网络使用习惯调研，需收集每日上网时长、常用APP类型、网络内容偏好数据，推荐问卷")
print(response)

三、Ollama云端部署的解决方案 #

Ollama完全可以解决私有云端部署需求，步骤如下：

1. 转换微调模型为Ollama格式
   编写Modelfile定义模型配置：

# 指向本地微调模型文件路径
FROM ./fine-tuned-llama3
# 设置生成参数
PARAMETER temperature 0.7
PARAMETER max_tokens 512
# 定义系统提示词，贴合问卷推荐任务
SYSTEM 你是专业的问卷设计助手，需根据用户提供的研究目的和数据收集需求，生成结构清晰、维度明确的问卷，包含问题类型、示例问题和推荐调研范围。

构建Ollama模型：

ollama create questionnaire-assistant -f Modelfile

2. 云端部署Ollama
   在公司授权的云端服务器（如AWS EC2、阿里云ECS）安装Ollama，上传构建好的模型，启动服务：

ollama serve

配置云端服务器的安全组，仅允许公司内部IP访问Ollama的默认端口11434。

3. LangChain集成云端Ollama模型

from langchain.llms import Ollama

llm = Ollama(
    model="questionnaire-assistant",
    base_url="http://your-cloud-ollama-server:11434",
    temperature=0.7,
    max_tokens=512
)

response = llm.invoke("研究目的：企业数字化转型效果评估，需收集员工系统使用熟练度、业务流程优化感知、IT支持满意度数据，推荐问卷")
print(response)

内容的提问来源于stack exchange，提问作者Akram H