计算资源和存储资源按某一比例强绑定,系统扩容必须按节点数目增加,导致内存或磁盘的浪费;3. 在云计算场景下,因计算集群中包含数据,导致不能实现真正的弹性计算。企业可以通过云上存算分离架构,以低成本的对象存储作为存储底座,完美地解决以上问题。而针对在大数据和机器学习场景下,由对象存储带来的诸如存储性能(IO 瓶颈)、接口兼容性等问题,火山引擎推出自研的 **大数据文件存储(CloudFS)**作为解决方案。火山引...
3. 在云计算场景下,因计算集群中包含数据,导致不能实现真正的弹性计算。企业可以通过云上存算分离架构,以低成本的对象存储作为存储底座,完美地解决以上问题。而针对在大数据和机器学习场景下,由对象存储带来的诸如存储性能(IO 瓶颈)、接口兼容性等问题,火山引擎推出自研的**大数据文件存储(CloudFS)** 作为解决方案。火山引擎大数据文件存储以对象存储为底座,针对大数据和机器学习场景进行了完整的兼容和优化,助力更多企业...
创建存储桶,名称可以是自己姓名或昵称。为了能够通过CDN进行回源,需要开放对象存储的读权限,因此注意选择“公共读”的桶策略。![picture.image](https://p6-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/8b07b59ef09c46989a47346d0f722c2e~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1714926083&x-signature=BHia9mSyblb%2BB4xFZKBKswwk7PI%3D)2. 在对象存储的存储桶中上传文件,文件名称可以是2022090...
处理和分析。云存储作为云上的数据底层载体,支撑着越来越多的应用负载。无论是“稳”态还是“敏”态业务,或者创新型业务,都需要高可靠、高可用、高性能、高扩展性的云存储服务。按照经典的划分方式,云存储一般分为块、文件、对象三大类型,其中文件存储一般又分为通用文件存储NAS、并行文件存储PFS、大数据文件存储等。而对象存储经过多年的发展和演进,已经成为存放非结构化数据的首选,并在大数据、数据湖、数据仓库领域逐步成为...
3. 在云计算场景下,因计算集群中包含数据,导致不能实现真正的弹性计算。企业可以通过云上存算分离架构,以低成本的对象存储作为存储底座,完美地解决以上问题。而针对在大数据和机器学习场景下,由对象存储带来的诸如存储性能(IO 瓶颈)、接口兼容性等问题,火山引擎推出自研的**大数据文件存储(CloudFS)** 作为解决方案。火山引擎大数据文件存储以对象存储为底座,针对大数据和机器学习场景进行了完整的兼容和优化,助力更多企业...
步骤二:创建存储卷(PV)在集群管理页面,选择 存储管理 > 存储卷。 单击存储卷列表左上角 创建存储卷。 在弹出的 创建存储卷 页面,完成参数配置。 配置项 说明 创建方式 选择存储卷的创建方式,支持 静态创建,即由管理员创建 PV。 名称 根据系统提示,自定义存储卷的名称。需确保存储卷名称在集群内唯一。 存储卷类型 存储卷类型包括:云盘、文件存储、对象存储。本场景选择 文件存储。 访问模式 选择存储卷的访问方式,目前支持 Rea...
数字和短短横线(-),只能以字母开头。 长度为 2~63 个字符。 区域 目前大数据文件存储服务仅在华北2(北京)地域开放。 可用区 与安装了 Hadoop 客户端的 ECS 实例的可用区保持一致。 应用场景 此处选择文件存储场景,以创建一个支持 HDFS 语义、高效元数据操作、高带宽 IO 吞吐的文件存储实例。如需了解数据湖场景实例如何创建和访问,请参见访问数据湖实例。 对象存储来源 选择存储数据的存储桶(Bucket)。 系统默认:系统默认...
步骤一:创建存储卷(PV) 单击目标集群名称,在集群管理页面选择 存储管理 > 存储卷。 在存储卷管理页面,单击 创建存储卷。 在弹出的存储卷创建页面,完成参数配置。 配置项 说明 创建方式 选择存储卷的创建方式,目前支持 静态创建。 名称 自定义存储卷的名称,需确保存储卷名称在集群内唯一。 存储类型 存储卷类型包括:云盘、文件存储、对象存储、大数据文件存储。本场景选择 大数据文件存储。 访问模式 存储卷的访问方式,目前支持...
适用场景保存在 vePFS 的训练的核心数据,对数据安全性要求比较高,需要把数据进行定期备份。 训练过程中的 checkpoint 数据,定期同步到对象存储中,及时释放 vePFS 的存储空间。 前提条件ECS 和 TOS 带宽均满足备份需求。 不同规格的 ECS 实例的网络带宽不同,规格详情,请参见 ECS 规格说明。 TOS 带宽的约束限制,请参见约束限制。 已创建对象存储 Bucket,具体步骤,请参见创建存储桶。 已在 ECS 挂载文件存储 vepfs,具体步骤...
自定义存储卷的名称,需确保存储卷名称在集群内唯一。 存储卷类型 存储卷类型包括:云盘、文件存储、对象存储。本场景选择 对象存储。 访问模式 选择存储卷的访问方式,目前支持 ReadWriteMany ,此访问方式支持多点读写。 访问密钥 选择对象存储的访问密钥,即使用此处指定的访问密钥,授权容器服务访问对象存储。若无可使用的访问密钥,请单击 创建密钥,根据系统提示配置密钥名称、所属空间和您火山引擎账号的 AK/SK。 存储桶 选择对...
需确保存储卷声明名称在集群内唯一。 存储类型 存储类型包括:云盘、文件存储、对象存储。本场景选择 文件存储。 访问模式 选择存储卷声明的访问方式,目前支持 ReadWriteMany ,此访问方式支持多点读写。 计费类型 按需选择资源计费类型,目前支持按量计费。 文件系统类型 选择文件存储的文件系统类型,要求与存储类中配置的文件系统类型保持一致。 极速型:适用于 Linux 时延敏感型应用,例如:中小场景 AI、文件共享、Devops 代码存储...
需确保存储卷名称在集群内唯一。 存储类型 存储卷类型包括:云盘、文件存储、对象存储等。本场景选择 vePFS 文件存储。 访问模式 存储卷的访问方式,目前支持 ReadWriteMany ,此访问方式支持多点读写。 规格 选择创建存储卷使用的文件系统规格,目前推荐使用 100 MB/s/TiB,更多规格介绍参见:vePFS 产品规格。 项目 按需选择创建存储卷的项目,默认为:default 项目。项目管理是火山引擎提供的一种资源管理方式,可以对不同业务或项目使...
TOS 对象一旦被删除或覆盖,均不可恢复,请谨慎操作。如果想要避免误删,建议您开启版本控制。开启该功能后,当您删除或覆盖数据时,TOS 会自动保存您原数据的历史版本,当您误操作时,您可以将数据恢复至历史版本,避免数据丢失或修改。更多信息,请参见版本控制。 TOS 如何限制上传对象类型及大小?TOS 直接上传最大支持 5GB;分片上传最大支持 48.8TB。对象类型没有限制,如您需要增加额外限制,需要在业务侧实现。 前缀和文件夹之间有什么...