对象存储与表格存储

场景介绍云上VPC或云下IDC通过私网连接服务可以安全地访问云上的对象存储服务(Tinder Object Storage,简称TOS)。本文为您介绍使用私网连接打通TOS服务时不同场景的的配置指导。 如希望通过私网连接能够区分服务类型和存储桶对象,请使用接口终端节点泛域名功能。 如希望通过私网连接终端节点控制VPC访问存储桶的范围,请使用网关终端节点。 具体组网场景如下图所示。 前提条件已创建私有网络VPC及其云服务器,具体操作请参见创建私有...

为了给您提供更优质的服务并合法保障您的权益,对象存储将于 2023 年 7 月 10 日变更服务等级协议。 生效日期2023 年 7 月 15 日 变更说明服务等级变更点如下所示: 术语和定义:优化了有效请求和失败请求的场景说明。 服务可用性:明确了存储类型的冗余条件。 赔偿方案:明确了存储类型的冗余条件。 服务等级协议地址最新的服务等级协议地址,请参见对象存储服务等级协议(SLA)。

适用场景保存在 vePFS 的训练的核心数据,对数据安全性要求比较高,需要把数据进行定期备份。 训练过程中的 checkpoint 数据,定期同步到对象存储中,及时释放 vePFS 的存储空间。 前提条件ECS 和 TOS 带宽均满足备... 请参见 安装 tosutil 和初始化 tosutil。 备份流程 操作步骤步骤一:设置 vePFS 数据的定时备份登录云服务 ECS。 执行以下命令,创建用于存放备份脚本和备份日志信息的目录。本文以创建 backp 目录为例。 bash cd ...

为了更好地提升服务体验,火山引擎对象存储产品将优化读写带宽触发流控后的表现。 优化生效时间2023 年 7 月 30 日 23:59 优化说明对象存储产品存在读写带宽限制,达到阈值后将触发流控,流控行为如下所示: 优化前:触发流控后会直接响应 429 错误,拒绝请求。 优化后:触发流控后会整体降速,不会拒绝请求。 TOS 的带宽限制说明,请参见约束限制。

本文介绍如何实现文件存储 vePFS 与对象存储 TOS 之间的数据流动。 适用场景加载数据集场景(TOS->vePFS):数据集从 TOS 流动到 vePFS,用于数据清洗和 GPU 训练。 训练数据归档场景(vePFS->TOS):GPU 训练的 CheckPoint 数据和训练结果归档到的至对象存储。 前提条件ECS 和 TOS 带宽均满足数据流动需求。 不同规格的 ECS 实例的网络带宽不同,建议您选择网络出入带宽 20Gbps 以上的 ECS 实例。ECS 规格详情,请参见 ECS 规格说明。 ...

为了给您提供更加优质的服务,火山引擎对象存储产品预计将于 2023 年 10 月 31 日后优化标准存储计费逻辑,小于 64KiB 的标准存储类型的对象达到一定数量后,将新增最小计费单元限制,不足 64KiB 的对象将按照 64KiB 计算存储容量费用。 计费变更时间2023 年 10 月 31 日 计费变更说明本次计费变更只针对小于 64KiB 的标准存储类型的对象(下文简称小对象),计费变更说明如下: 计费时间 计费说明 2023 年 10 月 31 日前 按照对象的实际...

前言 当您需要将其他云服务商对象存储服务的数据在线迁移至火山引擎对象存储 TOS(Tinder Object Storage)或在火山引擎对象存储的存储桶之间做数据迁移时,您可以使用存储迁移服务进行迁移。 关于实验 预计部署时间:30分钟 级别:初级 相关产品:TOS 受众: 通用 实验说明 点击此链接登录控制台。 如果您还没有账户,请点击此链接注册账户。 实验步骤 总体步骤如下: 准备友商对象存储环境 准备火山引擎目的存储桶,配置存储迁移服...