模型推理

• 支持智谱 GLM3 / GLM4 模型的 function call 协议适配

• 模型推理 API V3 已修复部分细节问题（如报错处理、参数范围和默认值调整等）

API调用指南

体验中心

• 体验中心界面交互优化如下：

  • 体验中心-历史对话的话题区分项目，便于用户管理使用

  • 支持选择已创建的模型推理接入点（ Endpoint ）进行体验

体验中心

模型精调

• 增加精调任务资源预占功能：为排队第一且排队时间远大于平台均值的任务自动开启资源预占

• 模型仓库新增「增量训练」操作按钮，支持用户一键增量训练

• 优化模型精调报错交互，增加显著的提示入口及明确的失败原因，提升用户体验

模型精调

智能体

• 新增支持网页解析插件：

  • 使用前需在服务组件库进行开通，限时免费

  • 当前不支持与其他插件同时开启使用

• 联网插件链路部分升级，其中包括：

  • 支持多风格 Prompt 模板选择及自定义，可通过零代码创建的“联网插件-高级配置-回答配置”进行选择

  • 联网Plus版引用条数上限从5增加至10

  • 优化联网插件的意图识别环节链路

  • 透传userinfo(用户当前的时间和地点) 以提升模型回复正确率与效果

• 知识库插件链路部分升级：

  • 支持多风格Prompt模板选择及自定义，可通过零代码创建的“知识库插件-高级配置-回答配置”进行选择

• BotApi V3 API文档 / SDK调用指南 已上线

• Chatapi V3 已支持 Function calling 能力，支持用户将外部工具或 API 接入大模型，使用说明详见文档

智能体中心

智能体

• 新增计算器插件（beta版本，如需使用请提交工单联系我们）

  • 当用户点击选择更多插件时支持添加计算器插件

  • 组件可多选，请注意：计算器插件和联网/知识库不可同时开启

  • 计算器插件限时免费，无需额外开通

• 智能体中心支持插件限流调整：支持以账户纬度的插件限流调整

智能体中心

模型推理

• 模型调用SDK版本升级，SDK V3新增支持Java、Golang语言。
• 模型推理 API/SDK V3支持功能升级，新支持embedding和function call功能，包含Python、Java、Golang 三种语言。
• 优化模型推理API调用说明，为所有推理接入点提供详细的获取授权方式说明，以及不同代码语言和不同场景切换的API调用示例。
• API key的鉴权方式升级，平台支持长效API key的创建和管理，减少因API key失效而频繁更换的麻烦。其中包括：
  • API key的创建：用户可通过界面化形式为不同项目创建API key，all权限默认给予项目下所有资源访问权限。API key当前生效于推理服务（endpoint）、智能体（bot)、智能体组件（action)。
  • API key的调用：调用方式与OpenAI SDK完全对齐。用户只需将API key替换为方舟的API key，即可调用方舟上的模型。
  • 短效API key仍然可用，适用于对安全有更严格管理要求的用户。

模型调用API

智能体

• 智能体广场新发布联网、联网+内容、知识库三种插件的示例智能体及prompt优化大师示例智能体。
• 智能体体验和开发升级，其中包括：
  • 智能体体验模块增加水印。
  • 智能体体验时前端会带入当前ip的城市区域信息。
  • 智能体的提示词放大到3000字。
  • 高代码智能体开发指南进一步为用户补充操作信息，包括：更清晰的代码示例、vefaas部署引导。
  • 0代码智能体创建将面向个人开发者开放，并在流程上进一步丰富提示信息，包括：零代码操作指南及说明文案，模型接入点创建说明，其他提示文案等。
• 联网及内容插件升级，用户可自定义联网触发条件和强制联网开启，调用方式默认为自动调用。

智能体中心

模型广场

• 基础模型版本管理升级，让每个模型版本的可调参数和配置都以更清晰的方式展示，以便帮助您快速地选择适合您需求的基础模型；
• 引入全新的精选模型卡片，包括字节豆包APP应用的同系列豆包大模型等，为您提供更多选择，以满足各种业务场景的需求；

模型广场介绍

体验中心

• 在体验中心可以添加“模型仓库”的模型，通过直接与精调模型问答，以更直观的方式感受精调效果；
• 多模型对比模式开启后，可以同时同步对比“精调模型”与“基础模型”的差异，以及来自不同模型提供方、不同特性的模型在相同问答场景下的回复；
• 新增prompt优化选项，让大模型配合您提供更准确、更具情境感的指导词，使大模型在角色塑造和任务场景中提供更优质的回复；
• 支持图片上传，结合豆包大模型对图片理解的能力，以实现更贴切、更精准的回复，为您带来更优的体验；

模型体验介绍

模型仓库

• 新发布模型仓库，现在您可以通过模型仓库更好地管理精调模型；
• 同时，以模型为中心，您可以发起增量训练、发起效果评测、创建推理服务等，以满足您持续迭代和持续运维的需求；

模型仓库介绍

模型精调

• 精调任务中新增了“模型产出”列表，使您可以更轻松地追溯和管理同一精调任务在不同训练阶段的多个模型产出；
• 成功完成的训练任务会自动将最终模型产出录入至模型仓库，而失败的训练任务则允许您从中断位置继续训练，确保您能够充分利用资源，提高训练效率；

模型精调介绍

模型推理

• 算力保障现提供两种选项：公共资源池和模型单元。您可以从实际业务和场景出发，选择一种或灵活组合多个不同的推理服务，以实现稳定性和性价比的综合最优解；
• 我们对模型推理限流进行了调整：之前每个模型接入点需单独申请限流额度，现改为模型维度的限流。即在同一账号内，不同接入点现在共享一个限流额度，这使得单个接入点可以访问的额度更高。同时，您还可以根据需要灵活分配每个接入点的限流；

模型推理介绍

智能体

• 新发布智能体中心，为不同开发偏好的用户提供了三种开发模式，使得从零技术基础的用户到初级开发者和高级开发者均能轻松参与到基于AI模型的智能体开发中；其中包括：
  • 0代码模式：通过界面点选支持分钟级搭建问答Bot，并可搭配官方预置的联网或知识库组件，获得更高时效性和准确度的模型答复；
  • 低代码模式：通过方舟 x 扣子的联动支持轻量级编排，同时也将生态内容和多渠道发布的一站式开发体验连接至企业客户；
  • 高代码模式：通过Ark SDK为开发工具支持最大自由度的AI应用服务编排体验，不仅限于问答Bot；
• 新发布服务组件库，支持官方组件的添加和自定义组件创建，从而提高智能体的开发效率。首次发布的官方组件包括可扩展头条图文、抖音视频等优质内容源的联网组件，以及可高效联动企业私域知识进行可靠性补充的知识库组件；
• 新发布知识库，用于私域数据问答的场景，支持导入指定链接或TOS中存储的多个文档，并自动对文档执行解析、切片、向量化、构建索引等处理流程。为智能体提供可快速更新、定制化的知识，提升回答准确性。

智能体中心

资源管理

• 完整对接项目管理和资源标签。账号管理员可基于自身企业的组织和业务设置更加精细的资源管理。同时，您可以通过项目或资源标签从不同维度对方舟上的任务、服务、资产进行分类和聚合管理，将其用于标签制授权和资源分账等场景；

资源管理平台

OpenAPI

• 新发布模型广场、模型仓库、模型精调、模型服务、智能体等平台基础功能模块的 OpenAPI，让您能够更灵活地集成和管理方舟平台，满足各种定制化需求和业务场景；
• 升级模型调用Chat API，和多个辅助型API（Tokenization/Classification等）组合使用，可以更好的对模型问答内容进行调整
  • 在AK/SK鉴权模式上，新增API Key鉴权，让豆包大模型能在更多的应用侧被便捷的调用；
  • 开放logit_bias参数，用于调整模型生成的输出中某些内容出现的可能性。配合Tokenization API 可将文本分词并生成相应的 token ID 和偏移量（offset），这些信息有助于在文本中定位每个 token 的位置；
  • Chat API还同步开放了诸多新的参数

OpenAPI介绍

平台安全

• 方舟平台在数据安全、隐私和合规性方面已完成并通过多个国内外权威机构（如ISO和SOC）的安全合规认证，为您提供可靠的保障；
• 新增用户数据加密能力，加固保护方舟平台的数据安全性。默认情况下使用火山引擎密钥管理系统（KMS）为您加密您的精调资产；

火山方舟互信计算架构白皮书
数据加密

模型接入

模型接入是方舟模型服务的能力升级，支持用户调用模型广场上的模型与精调后的模型进行推理。相比原有模型服务，模型接入支持（1）灵活升级接入模型的版本 （2）支持模型接入的调用监控（即将上线），未来还会支持保障更高并发度、更灵活的推理需求。

模型接入

插件能力

新发布头条搜索插件，基于外部输入的必要性判断后，调用头条搜索能力，协助大模型实时获取新闻、法律等互联网资讯。当前插件仅适配于豆包系列模型

头条搜索插件

模型评测

优化自动评测，上传本地评测数据集或选择平台预置评测数据集，一键完成模型的评测。新增人工评测，创建标注任务并分配给指定标注人，在线协同标注模型的生成效果。

自动评测介绍 、 人工评测介绍

数据服务

数据集标注，支持基础的文本大模型数据集人工标注功能。

数据集标注

模型广场

模型卡片、体验中心支持多版本的模型展示、体验与使用

模型广场介绍

模型服务

新增Lora推理功能特性，Lora精调后的模型部署为在线服务，不用独占机器资源部署，无需排队，轻量便捷

模型服务部署

安全信任

为模型提供方与模型使用者开放安全审计日志，在安全容器的基础上进一步加密了用户输入文本信息

安全审计日志

统计管理

新发布开通管理页，可更清晰了解目前的商品开通状态、限制、价格与帮助文档等；新发布用量统计页，可清晰查看各子账号在各个模型上的调用量与RPM（每分钟请求数）信息

开通管理 、用量统计

模型精调

创建精调任务页：支持LoRA精调，模型精调更高效省时；支持自定义设置验证集；优化了参数配置的交互样式。精调任务列表页：增加了排队时间预估，训练时间预估提示信息

创建模型精调任务

模型服务

创建在线服务：权限管控升级优化，增加了管理员和可见范围的配置。在线服务详情：在线服务支持服务监控，可更好监控模型服务的工程性能指标

查看并管理模型服务

模型广场

支持了公开模型与私有模型的属性，模型卡片权限管控更自由；支持模型列表的搜索

模型广场介绍

体验中心

全新升级AI对话体验中心的交互与视觉，高级参数设置更便捷直观，多模型之间可拖拽排序

模型体验介绍

模型广场

新发布模型广场功能，在模型广场上查看并了解所有模型提供方上架在平台上的大模型

模型广场介绍

体验中心

新发布体验中心功能，可快速体验各模型的实际表现效果，探索其在语言、图像等方面的先进能力

模型体验介绍

模型精调

新发布模型精调功能，支持自定义训练集、超参、版本管理等功能，快速精调并使用专属大模型服务

创建模型精调任务

模型评测

新发布模型评测功能，自动根据预置的评测脚本与数据集，从多个维度评价精调后的模型表现效果

模型评测方案介绍

模型服务

新发布模型服务功能，在火山引擎上可直接调用推理API，接入生产环境，并持续运维与监控

精调模型发布在线服务

安全信任

支持安全可信的推理与精调服务，保障模型提供方的知识产权安全与模型使用者的业务信息安全

火山方舟互信计算架构白皮书