本地加载leo-hessianai-7B-AWQ模型后生成乱码的问题求助

1. 补充AWQ量化模型的加载参数 #

你加载的是AWQ量化模型，LlamaIndex的HuggingFaceLLM默认不会自动启用AWQ的加载逻辑，需要手动指定量化配置：

from llama_index.llms.huggingface import HuggingFaceLLM
from transformers import AwqConfig

# 加载本地模型的AWQ配置
awq_config = AwqConfig.from_pretrained("local_path/leo-hessianai-7B-AWQ")

llm = HuggingFaceLLM(
    context_window=2048,
    max_new_tokens=300,
    generate_kwargs={"temperature": 0.5, "do_sample": True},
    tokenizer_name="local_path/leo-hessianai-7B-AWQ",
    model_name="local_path/leo-hessianai-7B-AWQ",
    device_map="auto",
    # 添加AWQ加载所需参数
    model_kwargs={
        "quantization_config": awq_config,
        "low_cpu_mem_usage": True,
        "trust_remote_code": True  # 部分定制模型需要该参数
    }
)

2. 恢复并配置正确的Prompt模板 #

你注释掉了query_wrapper_prompt，而LLM需要匹配模型训练时的Prompt格式才能正常生成。从模型的Hugging Face卡片中找到官方指定的对话模板，比如类似结构：

from llama_index.core import PromptTemplate

# 替换为模型要求的Prompt格式
query_wrapper_prompt = PromptTemplate(
    "### 用户提问：{query}\n### 回答："
)

llm = HuggingFaceLLM(
    # 其他参数保持不变
    query_wrapper_prompt=query_wrapper_prompt,
)

3. 验证本地模型文件完整性 #

虽然模型能加载，但可能存在文件损坏：

• 对比本地model.safetensors等核心文件与Hub上的文件大小
• 重新下载模型的量化权重包，避免中断导致的文件缺失

4. 临时调整生成参数测试 #

当前生成参数可能不是核心问题，但可以临时调整排查：

• 设置temperature=0（确定性生成），观察是否仍输出乱码
• 降低max_new_tokens到50，缩小生成范围看结果变化

内容的提问来源于stack exchange，提问作者Supersquirrel