如何加速LLM的加载与推理？Llama2-7b 4bit模型优化求助

核心问题定位 #

你的代码每次调用run_chatbot都会重复加载模型和分词器，这是耗时的主要原因。另外，GTX1080属于Pascal架构，对新量化方案的支持有限，也会制约推理速度，需要针对性调整参数。

具体优化措施 #

1. 全局初始化模型与分词器 #

将模型和分词器的加载逻辑移出函数，仅执行一次，避免重复加载的开销：

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

# 全局初始化，程序启动时仅执行一次
model_name_or_path = "TheBloke/Llama-2-7b-Chat-GPTQ"
torch.backends.cudnn.benchmark = True  # 启用CUDA最优算法选择

model = AutoModelForCausalLM.from_pretrained(
    model_name_or_path,
    device_map="auto",
    trust_remote_code=False,
    revision="gptq-4bit-64g-actorder_True"
)
tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, use_fast=True)
tokenizer.pad_token = tokenizer.eos_token  # 统一pad与结束token

def run_chatbot(prompt):
    prompt_template=f'''[INST] <<SYS>>
    You are a helpful, respectful and honest assistant. Always answer as helpfully as possible, while being safe. Your answers should not include any harmful, unethical, racist, sexist, toxic, dangerous, or illegal content. Please ensure that your responses are socially unbiased and positive in nature. If a question does not make any sense, or is not factually coherent, explain why instead of answering something not correct. If you don't know the answer to a question, please don't share false information. 
    <</SYS>>
    {prompt}[/INST]
    '''
    input_ids = tokenizer(prompt_template, return_tensors='pt').input_ids.cuda()
    output = model.generate(
        inputs=input_ids,
        temperature=0.7,
        do_sample=True,
        top_p=0.95,
        top_k=40,
        max_new_tokens=256,
        pad_token_id=tokenizer.eos_token_id
    )
    return tokenizer.decode(output[0])

2. 调整生成参数降低计算负载 #

• 若允许确定性输出，关闭采样：设置do_sample=False，避免概率采样带来的额外计算
• 减少max_new_tokens到实际需求长度（比如128），减少生成步数
• 尝试降低top_k（如设为20），减少每步候选词数量

3. 适配GTX1080的量化版本 #

尝试切换到分组更小的GPTQ量化版本，更适配老架构显卡：
将revision改为"gptq-4bit-32g-actorder_True"，更小的量化分组能降低单步计算量。

预期效果 #

全局加载模型后，首次调用可能仍需几秒初始化，但后续调用耗时会大幅降低；配合参数调整，GTX1080上的生成耗时可压缩到10-20秒区间（具体取决于生成长度）。

内容的提问来源于stack exchange，提问作者Caden The Yak