大对象分布式内存存储
社区干货
JuiceFS 在火山引擎边缘计算的应用实践
为了解决在边缘渲染中遇到的存储问题,团队花了将近半年的时间开展了存储选型测试。最初,团队选择了公司内部的存储组件,从可持续性和性能上来说,都能比较好的满足我们的需求。但是落地到边缘场景,有两个具体的问题:- 首先,公司内部组件是为了中心机房设计的,对于物理机资源和数量是有要求的,边缘某些机房很难满足;- 其次,整个公司的存储组件都打包在一起,包括:对象存储、块存储、分布式存储、文件存储等,而边缘侧主要需要文件...
火山引擎云原生数据仓库 ByteHouse 技术白皮书 V1.0(上)
用户行为数据和 IOT 数据的广泛采集存储,企业和政府单位的数据量每年呈现 30%以上的增长速度。 在过去集中式架构的数据仓库方案中,建设成本与数据总量正相关,成本居高不下;采用基于分布式架构的大数据方案中... 分布式内存等方向进行探索。## 技术挑战ClickHouse 是近几年最热门的开源大数据产品,以其优异的查询性能引人瞩目,在全球得到了大量的推广和应用。字节跳动从 2017 年开始大规模使用 ClickHouse,总部署规模超过...
9年演进史:字节跳动 10EB 级大数据存储实战
[picture.image](https://p6-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/da1d57a888f74d2cae7da4cdebc5d034~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1714926054&x-signature=TkFrnDlEGIB6j%2BJFuVB%2BoHy5RM0%3D) 作为目前字节跳动内部存储量及集群规模最大的分布式存储系统,HDFS 一直伴随着字节跳动关键业务的飞速扩张而快速发展。本文从 HDFS 发展历程入手,介绍发展路径上的重大挑...
火山引擎ByteHouse基于云原生架构的实时导入探索与实践
分布式架构到云原生架构的改造。火山引擎ByteHouse云原生架构分为三层:- 第一层是服务接入层,负责服务接入以及状态管理,包括整体服务入口、所有元数据信息、事务实现等。- 第二层是执行计算层(Virtual WareHouse,以下简称VW),设计为无状态执行层可以轻量级扩缩容;负责执行具体的查询和导入任务,由于查询和导入可以下发到不同Virtual WareHouse 从而实现读写分离。- 第三层是数据存储层(VFS),支持远端HDFS存储以及对象存...
特惠活动
大对象分布式内存存储-优选内容
大对象分布式内存存储-相关内容
使用 veImageX 实时处理 TOS 存储图片
您可以通过 veImageX 来实时处理存储在 TOS 的图片资源,同步实现例如格式转换、图像压缩、缩放等一系列的处理操作。 背景信息TOS 作为分布式对象存储产品,适合存放图片、视频等素材类文件。如果您需要在图片分发时,同步进行缩放、裁剪、水印、格式转换等处理操作,以提高图片在 APP 端的加载速度,并减少网络分发的流量。 其中对于图片文件的处理,您可通过跨服务授权的方式,使用 veImageX 对存放在 TOS 中的图片文件进行实时处理,包...
成本评估优化
大部分的火山引擎 EMR 集群可以运行在通用型 ECS 机型上(g2i 和 g1ie 机型)。计算密集型集群可以从计算型实例(c2i 和 c1ie)中获益。OLAP 集群和内存消耗型作业可以从内存型实例(r1ie)中获益。Master 节点通常没有大量计算需求,因此可以选择通用型机型。 1.3 存储类型火山 EMR 集群支持对象存储 TOS(Tinder Object Storage)作为存储介质。火山引擎对象存储 TOS 是火山提供的海量、安全、低成本、易用、高可靠、高可用的分布式云存...
JuiceFS 在火山引擎边缘计算的应用实践
为了解决在边缘渲染中遇到的存储问题,团队花了将近半年的时间开展了存储选型测试。最初,团队选择了公司内部的存储组件,从可持续性和性能上来说,都能比较好的满足我们的需求。但是落地到边缘场景,有两个具体的问题:- 首先,公司内部组件是为了中心机房设计的,对于物理机资源和数量是有要求的,边缘某些机房很难满足;- 其次,整个公司的存储组件都打包在一起,包括:对象存储、块存储、分布式存储、文件存储等,而边缘侧主要需要文件...
火山引擎云原生数据仓库 ByteHouse 技术白皮书 V1.0(上)
用户行为数据和 IOT 数据的广泛采集存储,企业和政府单位的数据量每年呈现 30%以上的增长速度。 在过去集中式架构的数据仓库方案中,建设成本与数据总量正相关,成本居高不下;采用基于分布式架构的大数据方案中... 分布式内存等方向进行探索。## 技术挑战ClickHouse 是近几年最热门的开源大数据产品,以其优异的查询性能引人瞩目,在全球得到了大量的推广和应用。字节跳动从 2017 年开始大规模使用 ClickHouse,总部署规模超过...
9年演进史:字节跳动 10EB 级大数据存储实战
[picture.image](https://p6-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/da1d57a888f74d2cae7da4cdebc5d034~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1714926054&x-signature=TkFrnDlEGIB6j%2BJFuVB%2BoHy5RM0%3D) 作为目前字节跳动内部存储量及集群规模最大的分布式存储系统,HDFS 一直伴随着字节跳动关键业务的飞速扩张而快速发展。本文从 HDFS 发展历程入手,介绍发展路径上的重大挑...
配置 TOS 数据源
对象存储 TOS(Tinder Object Storage)是火山引擎提供的海量、安全、低成本、易用、高可靠、高可用的分布式云存储服务。DataSail 中 TOS 数据源为您提供读取和写入 TOS 数据的双向通道能力,实现不同数据源与 TOS 进行数据传输。本文将为您介绍 DataSail 的 TOS 数据同步的能力支持情况。 1 使用限制子账号新建数据源时,需要有项目的管理员角色,方可以进行新建数据源操作。各角色对应权限说明,详见:管理成员 已开通 TOS 服务,并创...
存储概述
存储类型的对比如下所示。 维度 EBS NAS TOS CloudFS 简介 弹性块存储 EBS 又称云盘,提供高可用、高可靠、高性能、弹性扩展的块存储设备,可以作为云服务器和弹性容器服务的可扩展硬盘使用。 文件存储 NAS,面向火山引擎弹性计算、容器服务、AI 智能应用提供一种高性能共享访问、持续在线、弹性扩展、跨地域访问的高性价比云存储服务。 对象存储 TOS,提供海量、安全、低成本、易用、高可靠、高可用的分布式云存储服务。 大数据文件...
分布式存储
本文介绍分布式存储客户端的故障配置参数。 ES 故障Index 关闭说明 当前故障仅支持 Elasticsearch 8.0 及以上 版本。 可注入目标: 集群中的中间件 主机中的中间件 故障参数: 参数 是否必填 说明 故障名称 是 故障的名称。 Host 是 数据库客户端的 IP。 端口 是 数据库客户端的端口号。 是否开启 SSL 是 选择是开启 SSL 验证。 是否需要用户名密码 是 选择是否需要输入账户和密码登录。选择是,则需要配置对应的用户名和密码。 用...
火山引擎上云迁移指南(二):迁移实施
火山引擎对象存储TOS(Tinder Object Storage)是火山引擎提供的海量、安全、低成本、易用、高可靠、高可用的分布式云存储服务。您可以通过RESTful API接口、SDK和工具等多种形式使用火山引擎TOS。通过网络,您可以在任何应用、任何时间、任何地点管理和访问火山引擎TOS上的数据。#### 在线迁移服务:存储迁移服务- **服务简介** [火山引擎存储迁移服务](https://www.volcengine.com/product/dms)是一个线上存储迁移服务,可以帮...
