Langchain调用AI21 Bedrock模型输出截断问题排查求助

API 探路者

2026-7-7

排查Langchain调用AWS Bedrock上AI21模型输出截断的步骤

1. 检查Langchain中AI21模型的参数配置

确认maxTokens参数设置：直接调用Bedrock Runtime正常但Langchain输出截断，大概率是Langchain封装时默认限制了输出token数。初始化Bedrock模型时，需显式在model_kwargs中指定足够大的maxTokens（AI21在Bedrock上的参数名是maxTokens，而非Langchain通用的max_tokens），示例代码：
```
from langchain.llms import Bedrock
llm = Bedrock(
    model_id="ai21.j2-ultra-v1",
    region_name="us-east-1",
    model_kwargs={"maxTokens": 2000}  # 根据需求调整，不超过模型总token上限
)
```
检查stopSequences参数：Langchain可能默认注入了停止词（如["\n", "Human:"]），导致模型提前终止生成。需确认model_kwargs中是否包含不必要的stopSequences，或ConversationChain是否自动添加了此类限制。

验证Memory的token限制：若使用ConversationBufferWindowMemory或ConversationSummaryMemory，需检查max_token_limit是否过小——上下文占用过多token会压缩输出空间，导致截断。可先替换为ConversationBufferMemory（无窗口限制）测试，或增大max_token_limit值。
检查默认Prompt模板：ConversationChain的默认Prompt可能包含“简洁回复”类要求，或格式提示触发模型提前停止。可打印默认Prompt确认：
```
from langchain.chains import ConversationChain
print(ConversationChain.get_default_prompt())
```
若存在限制类表述，可自定义Prompt移除相关要求。

确认模型总token上限：AI21 J2 Ultra的总上下文+输出token上限为8192，J2 Mid为4096。需计算当前对话上下文的token数，确保上下文+输出的总token不超过模型上限，可通过Langchain的token计数器验证：
```
from langchain.llms import Bedrock
llm = Bedrock(model_id="ai21.j2-ultra-v1", region_name="us-east-1")
context_token_count = llm.get_num_tokens("当前对话上下文内容")
```
验证参数映射一致性：Langchain的Bedrock类需严格按照AWS Bedrock的参数名传递配置，比如AI21的参数是maxTokens、temperature，而非Langchain其他LLM的max_tokens，需确保参数名完全匹配。

单独测试LLM实例：绕过ConversationChain，直接调用llm.predict("测试prompt")，若输出正常则问题出在ConversationChain配置；若仍截断，则是LLM参数配置问题。
对比Bedrock Runtime参数：将Langchain中传递的参数（maxTokens、stopSequences等）与直接调用Bedrock Runtime时的参数完全对齐，排除参数不一致导致的截断。
启用Langchain verbose日志：开启日志查看发送给Bedrock的请求细节，确认参数是否被修改或遗漏：
```
import langchain
langchain.verbose = True
```

内容的提问来源于stack exchange，提问作者Zhenya Warshavsky