常规在线推理部署在公共资源池,按Token付费,成本灵活可控,是个人开发者或小型业务的首选。本文介绍常规在线推理的主要优势、支持模型、部署流程等内容。
如果业务对于延时有需求,请通过工单提需求。
在 在线推理页面 查看并复制推理接入点 Endpoint ID。
典型示例代码如下,更多示例代码可参见模型调用章节。
# 安装 sdK 参见 https://www.volcengine.com/docs/82379/1541595 import os from volcenginesdkarkruntime import Ark client = Ark( base_url='https://ark.cn-beijing.volces.com/api/v3', api_key=os.getenv('ARK_API_KEY'), ) response = client.responses.create( model="doubao-seed-1-6-251015", input="hello" ) print(response)