使用Llama2时LlamaIndex依赖OpenAI的疑问及替代方案咨询

为什么导入PromptHelper、LLMPredictor会关联OpenAI？ #

• PromptHelper本身不依赖OpenAI，它是LlamaIndex里负责处理prompt长度、文本分块逻辑的工具类，和具体LLM模型无关。
• LLMPredictor是LlamaIndex封装的LLM对接类，示例代码里用了ChatOpenAI这个OpenAI专属的LLM实现，才需要安装OpenAI包。如果换用Llama2这类其他LLM，完全不需要OpenAI相关依赖。

不使用OpenAI的重写代码 #

要对接Llama2，你可以用LlamaIndex的HuggingFaceLLM类（需提前安装transformers、torch等依赖），示例代码如下：

from llama_index import PromptHelper, LLMPredictor
from llama_index.llms import HuggingFaceLLM
from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline

# 初始化PromptHelper（逻辑和原代码一致，无需修改）
prompt_helper = PromptHelper(max_input_size, num_outputs, max_chunk_overlap, chunk_size_limit=chunk_size_limit)

# 加载Llama2模型与tokenizer（按需替换为对应Llama2模型版本）
model_name = "meta-llama/Llama-2-7b-chat-hf"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# 创建文本生成管道
text_gen_pipeline = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
    max_new_tokens=num_outputs,
    temperature=0.7,
    top_p=0.95,
    repetition_penalty=1.15
)

# 初始化LLMPredictor并绑定Llama2管道
llm_predictor = LLMPredictor(llm=HuggingFaceLLM(pipeline=text_gen_pipeline))

注：本地运行大模型需确保GPU显存充足，若显存有限，可借助bitsandbytes库加载4/8位量化版本的Llama2模型，降低显存占用。

内容的提问来源于stack exchange，提问作者mce