对象存储影响带宽

为了更好地提升服务体验,火山引擎对象存储产品将优化读写带宽触发流控后的表现。 优化生效时间2023 年 7 月 30 日 23:59 优化说明对象存储产品存在读写带宽限制,达到阈值后将触发流控,流控行为如下所示: 优化前:触发流控后会直接响应 429 错误,拒绝请求。 优化后:触发流控后会整体降速,不会拒绝请求。 TOS 的带宽限制说明,请参见约束限制。

本文介绍使用对象存储 TOS 一些主要特性时的使用限制。 性能及存储类型限制项 说明 QPS 读写请求:每个地域每个主账号默认 10000 QPS,说明如下:非顺序读写:10000 QPS 顺序读写:2000 QPS 说明 如果您在一个桶内的... 为了避免影响程序正常运行,您可以修改顺序前缀,详细说明,请参见性能优化。 ListObjects 请求:每个地域每个主账号默认 1000 QPS。 如果您的业务有更大的 QPS 需求,请提交工单联系技术支持。 带宽 每个地域每个主...

本文介绍如何实现文件存储 vePFS 与对象存储 TOS 之间的数据流动。 适用场景加载数据集场景(TOS->vePFS):数据集从 TOS 流动到 vePFS,用于数据清洗和 GPU 训练。 训练数据归档场景(vePFS->TOS):GPU 训练的 CheckPoint 数据和训练结果归档到的至对象存储。 前提条件ECS 和 TOS 带宽均满足数据流动需求。 不同规格的 ECS 实例的网络带宽不同,建议您选择网络出入带宽 20Gbps 以上的 ECS 实例。ECS 规格详情,请参见 ECS 规格说明。 ...

适用场景保存在 vePFS 的训练的核心数据,对数据安全性要求比较高,需要把数据进行定期备份。 训练过程中的 checkpoint 数据,定期同步到对象存储中,及时释放 vePFS 的存储空间。 前提条件ECS 和 TOS 带宽均满足备份需求。 不同规格的 ECS 实例的网络带宽不同,规格详情,请参见 ECS 规格说明。 TOS 带宽的约束限制,请参见约束限制。 已创建对象存储 Bucket,具体步骤,请参见创建存储桶。 已在 ECS 挂载文件存储 vepfs,具体步骤...