对象存储适合的应用
社区干货
火山引擎云存储选型指南 x 自动驾驶场景最佳实践
在大部分业务场景中做云存储大类的选型是相对容易的,比如要为云服务器配置系统盘或数据盘会使用块存储,存放视频、图片、游戏安装包等文件优选对象存储,但在某些业务场景(AI、HPC、大数据等)用户往往面临多样化的选择,需要综合考虑协议兼容性、功能、性能、易用性、扩展性等因素。本文将为您提供一个选型指南,如果您有计划将业务应用部署或迁移到火山引擎,可以参考文章内容选择最合适的云存储产品或者产品组合,为上层业务打造坚...
计算引擎在K8S上的实践|社区征文
# 背景由于公司近一年开始朝向在云原生方向开始发展,已经将部分业务应用迁移至Kubernetes上运行,并且形成了一套一站式应用研发全生命周期管理体系,提供了如项目管理、代码托管、CI/CD等功能。因此数据平台也面临着从Hadoop到云原生的探索。我们做了一些尝试:首先是存储,使用OSS等对象存储替代了HDFS。其次就是计算,也是本篇文章将要介绍的,将Spark计算任务从Yarn迁移至K8S上运行。# 最初的尝试spark-thrift-server考虑到我们...
JuiceFS 在火山引擎边缘计算的应用实践
这里简单介绍一下在边缘渲染中遇到的存储问题:需要对象存储与文件系统的元数据统一,实现数据通过对象存储接口上传以后,可以通过 POSIX 接口直接进行操作;满足高吞吐量的场景需求,尤其是在读的时候;完全实现 S3 接口... 或者应用调用强制写入接口(close 和 fsync 接口)时,才会将数据上传到对象存储,数据上传成功后,再更新元数据引擎。所以,在写入大文件时,都是先写内存,再落盘,可以大大提升大文件的写入速度。目前边缘的使用场景主...
跨云迁移利器-存储迁移服务正式上线
为此火山引擎云存储团队推出了存储迁移服务,能够将其他云服务商或自建对象存储中的数据方便快捷地迁移到火山引擎对象存储TOS中。火山引擎存储迁移服务具有以下功能:- **多种数据源**:支持国内外主流云厂商对... 其能够适用于数据搬迁、多云同步、异地容灾等场景之中。**应用场景一:数据搬迁**将存储于其他云服务商的对象存储数据或自建对象存储数据,通过在线迁移的方式搬迁至火山引擎TOS。
特惠活动
对象存储适合的应用-优选内容
对象存储适合的应用-相关内容
存储概述
容器服务基于 Kubernetes 容器存储接口(CSI),融合火山引擎弹性快存储 EBS、文件存储 NAS、大数据文件存储 CloudFS 和对象存储 TOS 等,提供容器网络存储能力。本文主要介绍容器服务支持的存储类型和网络存储在各种场景下的对比。 容器服务支持的存储类型容器服务支持在工作负载中绑定多种网络存储类型。容器服务存储结构和每个网络存储的应用场景示意图如下所示。 网络存储对比各个网络存储类型的对比如下所示。 维度 EBS NAS TO...
使用对象存储静态存储卷
确保当前集群已安装对象存储服务组件 csi-tos。操作方法,请参见 安装组件。 已创建存储桶。操作方法,请参见 创建存储桶。 确保指定命名空间下已经存在合适的密钥,创建密钥所需的火山引擎账号 AK/SK 获取方法参见:... 自定义存储卷的名称,需确保存储卷名称在集群内唯一。 存储卷类型 存储卷类型包括:云盘、文件存储、对象存储。本场景选择 对象存储。 访问模式 选择存储卷的访问方式,目前支持 ReadWriteMany ,此访问方式支持多点读...
存储选型最佳实践
适用于多种业务应用服务。 协议兼容:兼容 POSIX 语义,支持 NFSv3、v4 协议,让您像使用本地存储一样使用云端存储系统。 共享访问:应用级别数据共享,企业级数据管理,实现多终端协同工作以及数据共享。 访问安全:丰富权限以及后端多重数据保护机制,保障数据访问整体安全性。 极致性能:分布式架构,性能近线性提升,满足高 IOPS、低延迟、高带宽存储诉求。 动态监控:基础服务监控指标,及时了解服务访问情况,动态监管。 对象存储 对象...
使用 veImageX 实时处理 TOS 存储图片
您可以通过 veImageX 来实时处理存储在 TOS 的图片资源,同步实现例如格式转换、图像压缩、缩放等一系列的处理操作。 背景信息TOS 作为分布式对象存储产品,适合存放图片、视频等素材类文件。如果您需要在图片分发时,同步进行缩放、裁剪、水印、格式转换等处理操作,以提高图片在 APP 端的加载速度,并减少网络分发的流量。 其中对于图片文件的处理,您可通过跨服务授权的方式,使用 veImageX 对存放在 TOS 中的图片文件进行实时处理,包...
IDC共享云上对象存储服务
本文将介绍如何通过私网连接服务将火山引擎对象存储服务共享给本地IDC。 场景介绍云上VPC或云下IDC通过私网连接服务可以安全地访问云上的对象存储服务(Tinder Object Storage,简称TOS),同时能够避免多云场景下,不同云厂商之间云服务地址冲突的问题。 云服务指由云厂商提供的云上公共服务,火山引擎提供的云服务部署在100.64.0.0/10网段,例如TOS服务。 本文为您介绍使用私网连接打通TOS服务时不同场景的的配置指导。 终端节点服务与...
将 vePFS 中的数据定时备份到对象存储
适用场景保存在 vePFS 的训练的核心数据,对数据安全性要求比较高,需要把数据进行定期备份。 训练过程中的 checkpoint 数据,定期同步到对象存储中,及时释放 vePFS 的存储空间。 前提条件ECS 和 TOS 带宽均满足备... 创建用于存放备份脚本和备份日志信息的目录。本文以创建 backp 目录为例。 bash cd /optmkdir backup 执行以下命令,创建备份脚本,本文以 backup_vepfs_to_tos.sh为例,并使用文本编辑器打开。 bash vim backup_vepf...
挂载 TOS 对象存储
函数服务支持挂载 TOS 对象存储,将数据存储至火山引擎的 对象存储 TOS。本文为您介绍如何挂载 TOS 对象存储。 前提条件已开通火山引擎对象存储 TOS。 已在函数待部署地域,创建 TOS Bucket,详细操作可参见 创建存储... 单击存储配置旁的编辑图标。 在编辑存储配置面板中,启用 TOS 挂载。 按要求配置 TOS 挂载参数,配置完成后请保存。 配置项 说明 AKSK 输入访问密钥 Access Key ID 和 Secret Access Key,用于授权函数服务使用 TO...
对象存储带宽流控优化说明
为了更好地提升服务体验,火山引擎对象存储产品将优化读写带宽触发流控后的表现。 优化生效时间2023 年 7 月 30 日 23:59 优化说明对象存储产品存在读写带宽限制,达到阈值后将触发流控,流控行为如下所示: 优化前:触发流控后会直接响应 429 错误,拒绝请求。 优化后:触发流控后会整体降速,不会拒绝请求。 TOS 的带宽限制说明,请参见约束限制。
管理桶存储类型(Java SDK)
桶(Bucket)是 TOS 的全局唯一的命名空间,相当于数据的容器,用来储存对象(Object)数据。TOS 提供了多种桶级别的存储类型,分别适用于不同的应用场景。本文介绍如何通过 TOS Java SDK 管理桶的存储类型。 存储类型说明TOS 提供的桶存储类型包含以下几类。 存储类型 描述 访问权限值 标准存储 桶默认存储类型,适用于各种社交、分享类的图片、音视频应用、大型网站、大数据分析等业务场景,例如程序下载、移动应用等。 StorageCla...
