云对象存储分布式存储服务
社区干货
JuiceFS 在火山引擎边缘计算的应用实践
整个公司的存储组件都打包在一起,包括:对象存储、块存储、分布式存储、文件存储等,而边缘侧主要需要文件存储和对象存储,需要进行裁剪和改造,上线稳定也需要一个过程。团队讨论后,形成了一个可行的方案:CephFS + MinIO 网关。MinIO 提供对象存储服务,最终的结果写入 CephFS,渲染引擎挂载 CephFS,进行渲染操作。测试验证过程中,文件到千万级时,CephFS 的性能开始下降,偶尔会卡顿,业务方反馈不符合需求。同样的,基于 Ceph 还有一...
火山引擎云存储选型指南 x 自动驾驶场景最佳实践
云盘的性能要求选择合适的规格。**对象存储 TOS**TOS(Tinder Object Storage)是火山引擎提供的海量、安全、低成本、易用、高可靠、高可用的分布式云存储服务。用户可以通过...
火山引擎云存储选型指南 x 自动驾驶场景最佳实践
一般称为云盘或云硬盘,结合云主机或容器服务使用,支持分区格式化 | 提供共享访问的文件系统,通过标准文件访问协议挂载到多个计算节点 | 高吞吐、低时延、可扩展的并行文件存储系统,多用于高性能计算场景,一般使用专有客户端 | 支持标准HDFS协议、面向大数据生态场景的分布式文件系统,底层多基于对象存储构建 | 适合存放任意类型的非结构化数据,具有海量、安全、低成本、高可靠特性的分布式存储 || 接口协议 | 虚拟块设备协议 |...
JuiceFS 在火山引擎边缘计算的应用实践
整个公司的存储组件都打包在一起,包括:对象存储、块存储、分布式存储、文件存储等,而边缘侧主要需要文件存储和对象存储,需要进行裁剪和改造,上线稳定也需要一个过程。团队讨论后,形成了一个可行的方案: **CephFS + MinIO 网关** 。MinIO 提供对象存储服务,最终的结果写入 CephFS,渲染引擎挂载 CephFS,进行渲染操作。测试验证过程中,文件到千万级时,CephFS 的性能开始下降,偶尔会卡顿,业务方反馈不符合需求。同样的,基于 ...
特惠活动
云对象存储分布式存储服务-优选内容
云对象存储分布式存储服务-相关内容
火山引擎云存储选型指南 x 自动驾驶场景最佳实践
一般称为云盘或云硬盘,结合云主机或容器服务使用,支持分区格式化 | 提供共享访问的文件系统,通过标准文件访问协议挂载到多个计算节点 | 高吞吐、低时延、可扩展的并行文件存储系统,多用于高性能计算场景,一般使用专有客户端 | 支持标准HDFS协议、面向大数据生态场景的分布式文件系统,底层多基于对象存储构建 | 适合存放任意类型的非结构化数据,具有海量、安全、低成本、高可靠特性的分布式存储 || 接口协议 | 虚拟块设备协议 |...
存储选型最佳实践
适用于多种业务应用服务。 协议兼容:兼容 POSIX 语义,支持 NFSv3、v4 协议,让您像使用本地存储一样使用云端存储系统。 共享访问:应用级别数据共享,企业级数据管理,实现多终端协同工作以及数据共享。 访问安全:丰富权限以及后端多重数据保护机制,保障数据访问整体安全性。 极致性能:分布式架构,性能近线性提升,满足高 IOPS、低延迟、高带宽存储诉求。 动态监控:基础服务监控指标,及时了解服务访问情况,动态监管。 对象存储 对象...
使用 veImageX 实时处理 TOS 存储图片
您可以通过 veImageX 来实时处理存储在 TOS 的图片资源,同步实现例如格式转换、图像压缩、缩放等一系列的处理操作。 背景信息TOS 作为分布式对象存储产品,适合存放图片、视频等素材类文件。如果您需要在图片分发时,同步进行缩放、裁剪、水印、格式转换等处理操作,以提高图片在 APP 端的加载速度,并减少网络分发的流量。 其中对于图片文件的处理,您可通过跨服务授权的方式,使用 veImageX 对存放在 TOS 中的图片文件进行实时处理,包...
策略模式 之 一键切换云存储方式|社区征文
我们需要去对应的云服务厂商开通对象存储服务,然后获取到`accessKey`、`accessKeySecret`、`endpoint`、`bucket`、`domainUrl`等必须的参数。> 因为这些信息基本是不会发生改变,所以我们可以将这些信息存储在配置文件中。> 除此之外我们还需要对文件上传进行配置,设置为最大文件为100MB```ymlserver: port: 8080spring: servlet: multipart: max-file-size: 100MB max-request-size: 100MBapplicat...
云服务器部署Ceph
关于 CephCeph 是一种开源分布式文件系统,具有高可靠、自动重均衡、灵活扩展等特点,支持对象存储、块存储以及文件存储。Ceph 充分利用节点的计算能力,通过 Crush 算法计算文件位置,使数据均衡分布,避免单点故障问题... 实践规划本最佳实践通过火山引擎云服务器、私有网络、NAT 网关等产品进行 Ceph 部署,本文中相关产品规划如下: 产品或服务 本文示例 备注 私有网络 名称:ceph-vp...
9年演进史:字节跳动 10EB 级大数据存储实战
作为目前字节跳动内部存储量及集群规模最大的分布式存储系统,HDFS 一直伴随着字节跳动关键业务的飞速扩张而快速发展。本文从 HDFS 发展历程入手,介绍发展路径上的重大挑战及解决方案。 ... 日志服务,Kafka 数据存储* Yarn,Flink 的计算框架平台数据* Spark,MapReduce 的计算相关数据存储**02****字节跳动特色的 HDFS 架构**在深入相关的技术细节之前,我们先看...
分布式存储
本文介绍分布式存储客户端的故障配置参数。 ES 故障Index 关闭说明 当前故障仅支持 Elasticsearch 8.0 及以上 版本。 可注入目标: 集群中的中间件 主机中的中间件 故障参数: 参数 是否必填 说明 故障名称 是 故障的名称。 Host 是 数据库客户端的 IP。 端口 是 数据库客户端的端口号。 是否开启 SSL 是 选择是开启 SSL 验证。 是否需要用户名密码 是 选择是否需要输入账户和密码登录。选择是,则需要配置对应的用户名和密码。 用...
火山引擎云原生数据仓库 ByteHouse 技术白皮书 V1.0(上)
腾讯云都推出了自己的云原生数据仓库产品;PingCap 的 TiDB、鼎石科技的 StarRocks 等独立产品也选择了云原生道路。 **OLAP 产品有如下几个技术趋势:****1)云原生的整体架构**基于公共云、私有云或混合云的架构设计,应用容器化和微服务等云原生技术,实现敏捷开发、敏捷运维,天然解决扩展性问题。**2)存储服务化**对数据存储层进行统一抽象,灵活采用 HDFS 分布式存储或 S3 等对象存储作为数据存储载体,最终实现存储服...
存储迁移服务-火山引擎
存储迁移服务是火山引擎提供的在线数据迁移服务,主要用于将其他云服务商对象存储中的数据方便快捷地迁移到火山引擎对象存储
