AWS Bedrock调用Claude Sonnet 3.5 v2报错，如何通过推理配置文件调用？

错误含义 #

该错误明确表示：Claude 3.5 Sonnet v2（模型ID：anthropic.claude-3-5-sonnet-20241022-v2:0）不支持直接通过按需（On-Demand）吞吐量模式调用，必须借助AWS Bedrock的**推理配置文件（Inference Profile）**作为中转来调用该模型。

通过推理配置文件调用模型的步骤 #

1. 创建推理配置文件（AWS控制台操作） #

• 登录AWS Bedrock控制台，在左侧导航栏选择推理配置文件
• 点击创建推理配置文件，输入配置文件名称和描述
• 在模型选择模块，搜索并添加anthropic.claude-3-5-sonnet-20241022-v2:0模型
• 选择吞吐量模式（按需模式即可满足常规调用需求），完成配置文件创建
• 保存生成的推理配置文件ID或ARN（后续代码需要用到）

2. 修改Python代码调用模型 #

将原代码中的modelId替换为你创建的推理配置文件ID或ARN，修改后的代码示例：

import boto3
import json

bedrock_runtime = boto3.client(service_name="bedrock-runtime")

body = json.dumps({
    "max_tokens": 256,
    "messages": [{"role": "user", "content": "Hello, world"}],
    "anthropic_version": "bedrock-2023-05-31"
})

# 替换为你的推理配置文件ID或ARN
response = bedrock_runtime.invoke_model(
    body=body,
    modelId="your-inference-profile-id-or-arn"
)

# 解析并格式化输出响应
response_body = json.loads(response["body"].read())
print(json.dumps(response_body, indent=2))

注意事项 #

• 确保调用代码的IAM角色拥有bedrock:InvokeModel权限，且权限范围包含该推理配置文件
• 推理配置文件可关联多个模型，但本场景仅需关联目标模型即可正常调用

内容的提问来源于stack exchange，提问作者Asfand Qazi