LlamaIndex ChatEngine系统提示不生效问题排查求助

问题描述 #

使用LlamaIndex ChatEngine时基础功能正常，但配置的system_prompt无法生效；替换为context_prompt后问题依然存在。

排查方向 #

• 确认ChatEngine模式适配：SummaryIndex默认生成的是CondenseQuestionChatEngine，这类引擎不会直接读取system_prompt参数。显式指定chat_mode="context"，或改用ContextChatEngine，确保自定义prompt能被正确加载。
• 查看实际发送的Prompt内容：将verbose设为True，打印完整的LLM调用请求，检查自定义的系统提示是否被包含在发送给Claude的内容里。如果没出现，说明参数未传递到LLM调用环节。
• 适配Anthropic Claude的Prompt格式：Claude要求系统提示以System:前缀标识，LlamaIndex可能未自动适配格式。可以自定义PromptTemplate：

from llama_index.core import PromptTemplate

custom_prompt = PromptTemplate(
    "System: Only return the suggested experience '_id' and 'title'\n{context_str}\nUser: {query_str}"
)

然后在ChatEngine初始化时指定text_qa_template=custom_prompt。

• 排除内存组件的影响：ChatMemoryBuffer保存的历史对话可能覆盖当前系统提示，先尝试移除memory参数测试单次对话，或调用memory.reset()清空历史后再测试。
• 检查LlamaIndex版本：不同版本的参数逻辑有差异，部分旧版本需要通过kwargs传递system_prompt，或存在参数命名变更。建议升级到最新稳定版后重试。

相关实现代码 #

llm = Anthropic(model="claude-3-5-sonnet-20240620")

query = request.json.get('query')
memory = ChatMemoryBuffer.from_defaults(token_limit=5000)
session = request.json.get('session_id')
customer_data = request.json.get('customer_data')
host = "mongodb+srv://y?retryWrites=true&w=majority"
port = 27017
db_name = "data-entry"
collection_name = "experience"
query_dict = {}
field_names = ["_id", "title", "description", "address", "price", "duration", 
"availableTime", "links",
               "termsAndConditions", "storyLineKeywords", "linkWithOtherExperience"]
reader = SimpleMongoReader(host, port)
documents = reader.load_data(
    db_name, collection_name, field_names, query_dict=query_dict
)
index = SummaryIndex.from_documents(documents)

chat_engine = index.as_chat_engine(
     memory=memory,
     llm=llm,
     similarity_top_k=2,
     system_prompt=(
         "Only return the suggested experience '_id' and 'title'"
     ),
     verbose=False,
 )
response = chat_engine.chat(query)
print(response)

内容的提问来源于stack exchange，提问作者junaidp