使用Llama2量化模型调用触发Token超限警告的原因与配置咨询

问题描述 #

使用HuggingFace的Llama2量化模型，通过LangChain的CTransformers加载，运行查询时出现警告：

Number of tokens (512) exceeded maximum context length (512)

相关代码如下：

from langchain.llms import CTransformers
llm = CTransformers(model='models_k/llama-2-7b-chat.ggmlv3.q2_K.bin',
                      model_type='llama',
                      config={'max_new_tokens': 512,
                              'temperature': 0.01}
                      )

B_INST, E_INST = "[INST]", "[/INST]"
B_SYS, E_SYS = "<<SYS>>\n", "\n<</SYS>>\n\n"

DEFAULT_SYSTEM_PROMPT="""\
You are a helpful, respectful and honest assistant. Always answer as helpfully as possible. 
Please ensure that your responses are socially unbiased and positive in nature.

If a question does not make any sense, or is not factually coherent, explain why instead of answering something not correct. 
If you don't know the answer to a question, please don't share false information."""

instruction = db_schema + " Based on the database schema provided to you \n Convert the following text from natural language to sql query: \n\n {text} \n only display the sql query"

SYSTEM_PROMPT = B_SYS + DEFAULT_SYSTEM_PROMPT + E_SYS

template = B_INST + SYSTEM_PROMPT + instruction + E_INST

prompt = PromptTemplate(template=template, input_variables=["text"])
LLM_Chain=LLMChain(prompt=prompt, llm=llm)
print(LLM_Chain.run("List the names and prices of electronic products that cost less than $500."))

原因分析 #

1. 上下文窗口配置冲突：CTransformers默认给模型设置的context_length（最大上下文总长度，包含输入prompt和生成的新token）为512，而你设置的max_new_tokens=512，当输入prompt本身存在token占用时，输入+输出的总token数必然超过512阈值，触发警告。
2. prompt内容冗余：你的prompt包含系统提示词、数据库schema、指令模板和用户查询，这些内容的token占用已经接近或达到512，叠加要生成的512个新token后，直接超出限制。

解决方法 #

1. 调整模型上下文参数 #

修改CTransformers初始化配置，显式设置context_length为Llama2原生支持的最大上下文长度4096，同时确保max_new_tokens的取值满足：输入prompt token数 + max_new_tokens ≤ context_length。示例代码：

llm = CTransformers(model='models_k/llama-2-7b-chat.ggmlv3.q2_K.bin',
                    model_type='llama',
                    config={'max_new_tokens': 512,
                            'temperature': 0.01,
                            'context_length': 4096}  # 设置为模型支持的最大上下文长度
                    )

2. 精简prompt内容 #

如果数据库db_schema内容过长，只保留生成SQL所需的核心表结构和字段信息，减少输入prompt的token占用，从根源降低总长度压力。

3. 合理设置生成token数量 #

如果生成SQL不需要512个token，可适当调低max_new_tokens（比如设为200），避免不必要的长度浪费。

内容的提问来源于stack exchange，提问作者merkle