智能模型路由是一种通过动态分析用户请求特征（如任务类型、复杂度、实时流量等），自动匹配最合适模型进行处理的技术，帮助企业在复杂场景中实现 AI 资源的最优配置。本文为您介绍智能模型路由的定义、主要优势、使用方式等相关内容。 # 什么是智能模型路由智能模型路由是平台依据您每次请求的 Prompt 动态匹配最合适模型的能力；您只需创建一个接入点并开启该模式，平台便会在您圈定的模型范围内，结合 Prompt 内容、效果需求及成本偏好，自动匹配最优模型响应请求。这种智能匹配机制能够确保在不同的业务场景下，都能高效且精准地利用模型资源，为用户提供更贴合需求的服务。 # 主要优势 * **最大化模型效果**：针对不同任务自动匹配最优模型，尤其适配对效果有极致需求的用户。 * **精准降低成本**：简单任务自动路由至轻量模型，复杂任务匹配高阶模型，避免 “大材小用” 的资源浪费，实现成本与需求的精准适配。 * **化解模型选择难题**：无需用户手动开展复杂的模型评测与对比，平台全程自动筛选最优解，大幅降低模型选型门槛。 * **极简使用体验**：与常规模型接入流程完全一致，用户仅需创建一个接入点，通过接入点 ID 即可调用智能路由能力，无需额外修改代码，零学习成本快速上手。 # 支持模型当前支持智能路由的模型如下。其中，部分深度思考模型支持通过 **thinking** 字段控制是否关闭深度思考能力，具体参见[开启/关闭深度思考](/docs/82379/1449737#fa3f44fa)。 |模型版本 | |---| |deepseek\-r1\-250528 | |deepseek\-v3\-1\-terminus | |deepseek\-v3\-2\-251201 | |doubao\-seed\-1\-6\-250615 | |doubao\-seed\-1\-6\-251015 | |doubao\-seed\-1\-6\-flash\-250828 | |doubao\-seed\-1\-6\-lite\-251015 | |doubao\-1\-5\-pro\-32k\-250115 | # 使用说明 ## 请求限制 * 仅支持通过 [对话(Chat) API](https://www.volcengine.com/docs/82379/1494384) 调用智能模型路由，暂不支持 Response API * 仅支持输入≤ 128k token的文本请求，不支持输入图片或视频 * 不支持与上下文缓存功能一起使用 ## 参数说明 **在智能路由模式下，以下参数会影响模型的选择：** * `thinking`： * 设置为`enabled`：自动排除 non\-thinking 模型，并自动开启 thinking。 * 设置为`disabled`：倾向选择 non\-thinking 模型。 * 设置为`auto`：倾向在所有支持 thinking 和 non\-thinking 的模型中选择。 * `reasoning effort`：默认仅路由到支持该参数的模型。 * `response_format`：默认仅路由到支持该参数的模型。 **在智能路由模式下，以下参数不支持使用，如果设置，会导致运行报错：** * `top_logprobs` * `logit_bias` * `Stop` * `tool_choice` * `parallel_tool_calls` * `logprobs` ## 其他说明 * 如果您未参与协作奖励计划，智能路由不会收集您的数据信息。 * 智能模型路由的限流为 5,000,000 TPM 30,000 RPM。当智能路由到特定模型后，将同时消耗特定模型在账号下的限流额度。 * 智能模型路由按照实际推理使用的模型进行收费，路由模型暂不收费。 # 使用流程 ## 步骤一：创建推理接入点 1. 单击 [创建推理接入点](https://console.volcengine.com/ark/region:ark-stg+cn-beijing/endpoint/create?projectName=default)，配置接入点信息。 1. 推理模式选择 **模型智能路由。** 2. 选择路由策略。 1. **平衡模式**：基于效果、成本、速度的加权得分进行综合排序。 2. **成本优先**：基于请求长度，在备选集中选择模型效果可接受的最低价格模型。 3. **效果优先**：基于场景分类，自动选择最优模型。 3. 选择模型备选集。指定智能模型路由会选择到的模型范围。 ![图片](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/d562154f47d2437f8d59d2faaea81a37~tplv-goo7wpa0wc-image.image =2742x) 2. 按需配置其他信息，配置完成后，阅读并勾选相关协议，单击 **创建并接入**，完成推理接入点创建。 3. 在列表页复制接入点的 Endpoint ID，以便后续通过 Endpoint ID 发起模型调用时使用。 ## 步骤二：通过 Endpoint ID 发起模型调用您可以参考 [文本生成调用教程](https://www.volcengine.com/docs/82379/1399009) 的模型代码示例，通过对`model`字段赋值 Endpoint ID 的方式来发起调用。平台会返回执行该请求的实际模型和响应信息。 ```Shell curl https://ark.cn-beijing.volces.com/api/v3/chat/completions \ -H "Content-Type: application/json" \ -H "Authorization: Bearer $ARK_API_KEY" \ -d '{ "model": "ep-2xxxxxxx1-rr9kp", "messages": [ {"role": "system","content": "你是人工智能助手."}, {"role": "user","content": "你好"} ] }' ``` ## 步骤三：观测智能路由效果单击接入点名称进入当前接入点的 **概览** 页面，您可在 **智能路由效果监控** 区域观测智能路由的效果，了解总计使用次数、总计节约成本、不同模型的使用比例等关键指标，从而评估智能路由策略的有效性和经济性。 ![图片](https://p9-arcosite.byteimg.com/tos-cn-i-goo7wpa0wc/39999dad9e4a49439bb705b1636d7f2b~tplv-goo7wpa0wc-image.image =1617x)

火山方舟