通过 TOS 搭建方舟批量推理任务--对象存储-火山引擎

文档中心

立即注册

导航

对象存储

通过 TOS 搭建方舟批量推理任务

最近更新时间：2024.11.27 17:48:51首次发布时间：2024.11.19 11:00:57

本文介绍如何通过 TOS 搭建方舟批量推理任务。

背景信息

对象存储

火山引擎对象存储 TOS（Torch Object Storage）是火山引擎提供的海量、安全、低成本、易用、高可靠、高可用的分布式云存储服务。您可以通过 RESTful API 接口、SDK 和工具等多种形式使用火山引擎 TOS。通过网络，您可以在任何应用、任何时间、任何地点管理和访问火山引擎 TOS 上的数据。更多信息，请参见什么是对象存储。

火山方舟

火山方舟是面向开发者的企业级大模型服务平台，提供模型训练、推理、评测、精调等全方位功能与服务，并重点支撑大模型生态。更多信息，请参见什么是火山方舟。
批量推理（Batch Inference）适用于无需实时响应的推理场景，可以一次性离线处理大量数据。
使用存储在火山引擎对象存储的数据搭建方舟批量推理任务，有以下优势：

输入数据：不需要额外支付对象外网访问流量等费用；火山方舟和对象存储深度结合，提供高性能的任务体验。
输出数据：不需要支付对象外网访问流量等费用；可便捷使用火山引擎对象存储的各项能力，支持的功能列表，请参见控制台功能概述。

创建批量推理任务流程

操作步骤

前提条件

请确保您已注册火山引擎账号并完成实名认证，具体步骤，请参见账号注册和实名认证。

步骤一：创建 TOS 存储桶

说明

创建存储桶前，请确保您的账号或者子账号已开通 TOS 服务，具体步骤，请参见开通 TOS 服务。

存储桶（Bucket）是用于存储文件（Object）的空间。在上传任意文件前，您需要先创建存储桶。

登录对象存储控制台。
在左侧导航栏单击桶列表，在页面左上方单击创建桶。
设置存储桶参数，单击确定。存储桶参数详情，请参见创建存储桶。

步骤二：准备推理文件并上传至TOS

请参考输入文件格式说明准备包含您要进行推理的请求的输入文件。
您可以通过以下方式将推理文件上传至 TOS。

通过控制台上传

通过 tosutil 工具上传

通过 TOS Browser 上传

通过 SDK 上传

通过 API 上传

登录对象存储控制台。
在左侧导航栏，单击桶列表，在桶列表页面单击目标桶名称。
在文件列表页面，单击上传文件，在上传文件页面，设置文件参数。
说明
参数详情，请参见上传文件。
确定上传文件后，单击上传，即可开始上传文件。
单击上传后，页面自动跳转至任务进度管理面板。您也可以单击控制台右上方的任务中心，查看任务进度及状态。

步骤三：创建批量推理任务

登录火山方舟控制台。
在左侧导航栏单击模型推理 > 批量推理，在批量推理页面，单击创建批量任务。
填写批量任务参数，然后单击创建批量推理任务按钮提交任务。批量任务参数详情，请参见批量推理。

批量推理任务运行结束后，您可以单击查看结果按钮或在详情页的文件信息中单击跳转至 TOS 页面查看并下载输出文件。

更多实践

您还可以使用对象存储中的数据搭建静态网站、存储小程序数据等，更多应用场景，请参见应用场景。
常见场景操作指南请参见下文：

常见场景	描述
从微信小程序直传数据到 TOS	微信小程序作为一个不需要下载即可使用的应用，吸引了越来越多的人进行开发和使用。如何将微信小程序上的文件上传到 TOS 成为开发者关心的一个问题。
图片处理概述	TOS 支持处理存储的图片文件，您可以通过 GetObject 接口，在请求中携带图片处理的相关参数。TOS 支持的图片处理功能包括图片缩放、图片裁剪、图片水印、格式转换等。
视频处理概述	TOS 支持处理存储的视频文件，您可以通过 GetObject 接口，在请求中携带视频处理的相关参数。TOS 支持的视频处理功能包括视频截帧、获取视频元信息。
设置静态网站	静态网站，即网站所有的内容均由静态内容构成，包括首页、图片、执行脚本等。TOS 支持托管静态网站，您可以将静态网站的所有内容存储至 TOS 存储桶，配置静态网站规则后，即可通过存储桶域名访问该网站。
挂载存储桶概述	TOS 支持通过 FUSE 技术将存储桶作为磁盘挂载到 Windows 或 Linux 系统，便于您像管理文件系统一样管理存储桶。

如果您对对象存储的使用有任何兴趣或想法，您可以提交工单联系我们。