存储和中间件所有产品的新品发布、功能更新、最佳实践和平台最新活动等多个模块内容。每双月更新,欢迎查阅体验。> 【邀测】产品或功能暂未对全部用户开放,如需使用,请[提交工单](https://console.volcengine.com/workorder/create/)或联系客户经理申请。# 功能更新## 对象存储- [【邀测】深度冷归档](https://www.volcengine.com/docs/6349/104493):新增深度冷归档,适用于需要超长时间存放的极冷数据。最少需要存储 18...
对象存储 Android SDK 是否支持访问CDN地址来下载对应bucket的资源呢?还有就是是否支持通过https协议来访问CDN地址呢
存储和中间件。- 顶层是计算业务,大部分都是基于 K8s 底座运行的。在计算底座基础上会进行一些大数据任务以及 AI 训练任务,再往上就是各种各样的计算框架。- 底层是存储服务,目前来看存算分离是业界未来的趋势,对于云上一些标准的存储服务,可以分成以下三大类: - 第一类是对象存储,主要以 AWS S3 为标品,各个云厂商在标准能力基础上也都有一些创新服务; - 第二类是 NAS,传统的定位是一个远程的文件存储,现在...
大数据生态组件也开始层出不穷。各种不同体型的企业都喜欢选择开源大数据软件来搭建自己的系统,无论是先前十分繁荣的 Hadoop,还是后来涌现出来的 Kafka、Flink 等,都被广泛地使用着。十多年来,这些系统经历了多轮技术洗礼,我们也随之需要根据新的技术潮流不断地调整甚至做技术转型。以 Hadoop 三大组件来说,计算引擎 MapReduce 基本被 Spark 取代。在数据上云的时代,对象存储也取代了一部分 HDFS 文件系统。近几年,云原生又火...
火山引擎对象存储是火山引擎提供的海量、安全、低成本、易用、高可靠、高可用的分布式云存储服务。通过网络,您可以在任何应用、任何时间、任何地点管理和访问火山引擎对象存储上的数据
降低存储费用。 enum.StorageClassIntelligentTiering 冷归档存储 属于冷数据类型,适用于极少访问、需要长期保存数据的业务场景。最少需要存储 180 天;访问冷归档数据前需要先恢复数据。 enum.StorageClassColdArchive 设置存储类型注意 默认只有桶拥有者具有设置桶存储类型的权限。 设置桶存储类型后,若上传对象、复制对象和初始化分片上传任务时,未指定对象存储类型,则该对象继承桶的存储类型。 创建桶时,若未指定桶存储...
本文介绍如何实现文件存储 vePFS 与对象存储 TOS 之间的数据流动。 适用场景加载数据集场景(TOS->vePFS):数据集从 TOS 流动到 vePFS,用于数据清洗和 GPU 训练。 训练数据归档场景(vePFS->TOS):GPU 训练的 CheckPoint 数据和训练结果归档到的至对象存储。 前提条件ECS 和 TOS 带宽均满足数据流动需求。 不同规格的 ECS 实例的网络带宽不同,建议您选择网络出入带宽 20Gbps 以上的 ECS 实例。ECS 规格详情,请参见 ECS 规格说明。 ...
降低存储费用。 StorageClassType.StorageClassIntelligentTiering 冷归档存储 属于冷数据类型,适用于极少访问、需要长期保存数据的业务场景。最少需要存储 180 天;访问冷归档数据前需要先恢复数据。 StorageClassType.StorageClassColdArchive 设置存储类型注意 默认只有桶拥有者具有设置桶存储类型的权限。 设置桶存储类型后,若上传对象、复制对象和初始化分片上传任务时,未指定对象存储类型,则该对象继承桶的存储类型。...
保存数据的业务场景。最少需要存储 180 天;访问冷归档数据前需要先恢复数据。 StorageClassType.COLD_ARCHIVE 设置存储类型您可以通过 TOS Java SDK 的 putBucketStorageClass 接口设置指定桶的存储类型。 存储类型说明注意 默认只有桶拥有者(Owner)具备设置桶存储类型的权限。 创建桶时,若未指定桶存储类型,则默认存储类型为标准存储。 设置了桶存储类型后,若上传对象、复制对象和初始化分片上传任务时未指定对象存储类型,则...
降低存储费用。 tos.StorageClassType.Storage_Class_INTELLIGENT_TIERING 冷归档存储 属于冷数据类型,适用于极少访问、需要长期保存数据的业务场景。最少需要存储 180 天;访问冷归档数据前需要先恢复数据。 tos.StorageClassType.Storage_Class_Cold_Archive 设置存储类型注意 设置桶存储类型,默认只有桶拥有者具备此权限。 设置桶存储类型后,若上传对象、复制对象和初始化分片上传任务时,未指定对象存储类型,则该对象继承...
本文介绍使用存储迁移服务将友商对象存储迁移至TOS。 前言 当您需要将其他云服务商对象存储服务的数据在线迁移至火山引擎对象存储 TOS(Tinder Object Storage)或在火山引擎对象存储的存储桶之间做数据迁移时,您可以使用存储迁移服务进行迁移。 关于实验 预计部署时间:30分钟 级别:初级 相关产品:TOS 受众: 通用 实验说明 点击此链接登录控制台。 如果您还没有账户,请点击此链接注册账户。 实验步骤 总体步骤如下: 准备友商对象...
访问冷归档数据前需要先恢复数据。本文介绍如何通过 TOS Java SDK 恢复冷归档(Cold Archive)对象。 注意事项从 2.6.0 版本开始,TOS Java SDK 支持恢复冷归档(Cold Archive)对象。 冷归档对象无法直接读取,您需要先恢复该对象,才能执行读取操作。恢复冷归档对象前,您需要拥有 RestoreObject 权限。 冷归档对象恢复后,TOS 会生成一份标准存储类型的临时副本文件供您读取。副本将在您设置的有效期后自动删除。 对象恢复后,您还可以使...
适用场景保存在 vePFS 的训练的核心数据,对数据安全性要求比较高,需要把数据进行定期备份。 训练过程中的 checkpoint 数据,定期同步到对象存储中,及时释放 vePFS 的存储空间。 前提条件ECS 和 TOS 带宽均满足备份需求。 不同规格的 ECS 实例的网络带宽不同,规格详情,请参见 ECS 规格说明。 TOS 带宽的约束限制,请参见约束限制。 已创建对象存储 Bucket,具体步骤,请参见创建存储桶。 已在 ECS 挂载文件存储 vepfs,具体步骤...