LangChain Agent结合AWS Bedrock Titan模型执行失败求助

可能的原因 #

1. Titan模型Prompt格式不兼容LangChain Agent默认模板 #

LangChain Agent的默认prompt是针对OpenAI类模型设计的，而Titan（如Titan Text Express）有专属的prompt格式要求（比如<user>/<assistant>标签、特定指令结构），Agent生成的prompt不符合Titan规范，会导致模型输出混乱，无法被解析为工具调用指令。

2. Titan模型输出结构化不足 #

LangChain Agent依赖模型输出严格格式的工具调用指令（如{"action": "...", "action_input": "..."}），Titan可能未按要求输出结构化内容，或输出包含多余字符，导致LangChain的输出解析器报错，中断Agent执行。

3. Bedrock API响应结构差异 #

Titan返回的响应结构与Groq的Llama3不同，LangChain的Bedrock集成可能未正确处理Titan的响应格式，导致Agent无法提取有效信息。

4. Lambda环境资源/权限限制 #

Lambda的内存、超时设置不足，或IAM角色缺少Agent调用工具时所需的额外权限（普通RAG无需这些权限），会导致执行中断。

解决方案 #

1. 自定义适配Titan的Agent Prompt模板 #

根据Titan的prompt规范重写Agent模板，示例：

from langchain.prompts import PromptTemplate

titan_agent_prompt = PromptTemplate(
    input_variables=["input", "agent_scratchpad", "tools"],
    template="""你是可使用工具的助手，可用工具：{tools}
处理用户请求步骤：
1. 分析输入：{input}
2. 决定是否使用工具，如需使用，按指定JSON格式输出调用指令
3. 无需工具则直接回答
4. 根据工具返回结果继续处理，直到得到最终答案

工具调用必须严格遵循以下JSON格式：
{{"action": "工具名称", "action_input": "工具输入参数"}}

当前思考过程：{agent_scratchpad}"""
)

初始化Agent时指定该自定义prompt。

2. 配置专属输出解析器 #

针对Titan的输出特点，调整解析规则，示例：

from langchain.agents.output_parsers import RegexParser

# 匹配Titan可能输出的JSON格式工具调用
parser = RegexParser(
    regex=r'\{"action":\s*"([^"]+)",\s*"action_input":\s*"([^"]+)"\}',
    output_keys=["action", "action_input"]
)

# 初始化AgentExecutor时指定解析器
agent_executor = AgentExecutor.from_agent_and_tools(
    agent=agent,
    tools=tools,
    output_parser=parser,
    verbose=True
)

3. 调整Bedrock模型调用参数 #

确保调用Titan时使用适配的参数，减少输出随机性并匹配格式要求：

from langchain_aws import BedrockLLM

titan_llm = BedrockLLM(
    model_id="amazon.titan-text-express-v1",
    client=bedrock_client,
    model_kwargs={
        "temperature": 0.0,
        "maxTokenCount": 2048,
        "stopSequences": ["</user>"]  # 匹配Titan的格式停止序列
    }
)

4. 排查Lambda环境问题 #

• 提升Lambda配置：将内存调至至少1024MB，超时设置为30秒以上（Agent需多次调用模型和工具，比普通RAG更耗时）
• 检查IAM权限：确保Lambda执行角色不仅有Bedrock调用权限，还包含工具所需权限（如工具调用S3则需s3:GetObject等）
• 查看CloudWatch日志：定位具体错误（如解析报错、API超时），精准修复问题

5. 改用BedrockChat模型（若适用） #

如果使用的是Titan聊天模型，替换为BedrockChat以适配聊天场景，更好支持Agent的prompt格式：

from langchain_aws import BedrockChat

titan_chat = BedrockChat(
    model_id="amazon.titan-text-express-v1",
    client=bedrock_client,
    model_kwargs={"temperature": 0.0}
)

内容的提问来源于stack exchange，提问作者Yash Kamal Saxena