开源分布式对象存储服务
社区干货
9年演进史:字节跳动 10EB 级大数据存储实战
是业界使用最广泛的开源分布式文件系统。原理和架构与 Google 的 GFS 基本一致。它的特点主要有以下几项:* 和本地文件系统一样的目录树视图* Append Only 的写入(不支持随机写)* 顺序和随机读* 超大数据... 日志服务,Kafka 数据存储* Yarn,Flink 的计算框架平台数据* Spark,MapReduce 的计算相关数据存储**02****字节跳动特色的 HDFS 架构**在深入相关的技术细节之前,我们先看...
9年演进史:字节跳动 10EB 级大数据存储实战
# 背景## **HDFS** **简介**HDFS 全名 Hadoop Distributed File System,是业界使用最广泛的开源分布式文件系统。原理和架构与 Google 的 GFS 基本一致。它的特点主要有以下几项:- 和本地文件系统一样的目录... HDFS 平台在公司内部已经成长为总数十万台级别服务器的大平台,支持了 10 EB 级别的数据量。**当前在字节跳动,** **HDFS** **承载的主要业务如下:**- Hive,HBase,日志服务,Kafka 数据存储 - Yarn,Flink 的计...
火山引擎ByteHouse基于云原生架构的实时导入探索与实践
其本身是一个分布式数据库,加之其底层设计和实现让它在性能方面非常优秀,具体表现为单机可以达到每秒上亿行的读取速度以及GiB级的数据吞吐。由于社区官方不会做云服务的限制,所以社区开源的只是分布式架构。社区的开源实现是一个经典的分布式架构。首先它是无中心的多节点集群,有分片(shard)的概念:每个集群有多个shard,每个shard相互独立;集群内每张表的数据划分为不同子集存储在不同shard上。由于分布式架构具有数据分片和本...
火山引擎上云迁移指南(二):迁移实施
火山引擎对象存储TOS(Tinder Object Storage)是火山引擎提供的海量、安全、低成本、易用、高可靠、高可用的分布式云存储服务。您可以通过RESTful API接口、SDK和工具等多种形式使用火山引擎TOS。通过网络,您可以在任何应用、任何时间、任何地点管理和访问火山引擎TOS上的数据。#### 在线迁移服务:存储迁移服务- **服务简介** [火山引擎存储迁移服务](https://www.volcengine.com/product/dms)是一个线上存储迁移服务,可以帮...
特惠活动
开源分布式对象存储服务-优选内容
开源分布式对象存储服务-相关内容
最佳实践概述
本文介绍使用对象存储 TOS 的常见操作实践,帮助您解决常见问题,满足业务需求。 使用第三方工具访问 TOS最佳实践 说明 使用 Rclone 访问 TOS Rclone 是一款功能强大的开源命令行工具,支持对接各种云存储系统(包括... 视频等信息需要上传到服务端,或者从服务端下载到本地进行使用。在这种业务场景下,TOS 提供了使用临时鉴权 URL 实现数据安全下载的解决方案,介绍生成临时 URL 下载对象和在客户端发送请求的操作步骤。 使用 STS 临...
Proton 概述
总体上是基于 HDFS 标准 API来访问底层分布式文件系统。我们将存储服务(HDFS)和计算服务(Yarn)部署在一套集群的方案称为存算一体方案,将存储服务切换到火山引擎对象存储服务(TOS) 的方案称为存算分离方案。 HDFS 集群(即存算一体方案)相比TOS(存算分离方案)有一些明显的不足: HDFS 集群对存储资源使用多,对计算资源使用少。用户一般会将计算组件和 HDFS 组件混合部署在同一批节点上,达到充分复用存储和计算资源的目的,但这会使集...
9年演进史:字节跳动 10EB 级大数据存储实战
是业界使用最广泛的开源分布式文件系统。原理和架构与 Google 的 GFS 基本一致。它的特点主要有以下几项:* 和本地文件系统一样的目录树视图* Append Only 的写入(不支持随机写)* 顺序和随机读* 超大数据... 日志服务,Kafka 数据存储* Yarn,Flink 的计算框架平台数据* Spark,MapReduce 的计算相关数据存储**02****字节跳动特色的 HDFS 架构**在深入相关的技术细节之前,我们先看...
成本评估优化
1.3 存储类型火山 EMR 集群支持对象存储 TOS(Tinder Object Storage)作为存储介质。火山引擎对象存储 TOS 是火山提供的海量、安全、低成本、易用、高可靠、高可用的分布式云存储服务。TOS 支持标准型、低频型、归档型三种存储类型,您可以根据数据冷热情况对数据分层优化存储成本。 2 存储优化通过存储优化,可以提升作业的性能。这里有一些策略帮助您去优化集群存储。 数据分区 对数据进行分区并且基于分区读取数据时,查询只读取...
9年演进史:字节跳动 10EB 级大数据存储实战
# 背景## **HDFS** **简介**HDFS 全名 Hadoop Distributed File System,是业界使用最广泛的开源分布式文件系统。原理和架构与 Google 的 GFS 基本一致。它的特点主要有以下几项:- 和本地文件系统一样的目录... HDFS 平台在公司内部已经成长为总数十万台级别服务器的大平台,支持了 10 EB 级别的数据量。**当前在字节跳动,** **HDFS** **承载的主要业务如下:**- Hive,HBase,日志服务,Kafka 数据存储 - Yarn,Flink 的计...
基础概念
是火山引擎面向大数据和机器学习生态的文件存储和加速服务,支持标准的 HDFS 协议访问和数据湖透明访问模式,提供低成本、高性能、高吞吐和高可用的大数据文件访问服务。 对象存储 TOS 火山引擎对象存储 (Tinder Object Storage)是火山引擎提供的海量、安全、低成本、易用、高可靠、高可用的分布式云存储服务。 E-MapReduce EMR 火山引擎 E-MapReduce 是开源 Hadoop 生态的企业级大数据分析系统,完全兼容开源,提供 Hadoop、Spark、...
火山引擎ByteHouse基于云原生架构的实时导入探索与实践
其本身是一个分布式数据库,加之其底层设计和实现让它在性能方面非常优秀,具体表现为单机可以达到每秒上亿行的读取速度以及GiB级的数据吞吐。由于社区官方不会做云服务的限制,所以社区开源的只是分布式架构。社区的开源实现是一个经典的分布式架构。首先它是无中心的多节点集群,有分片(shard)的概念:每个集群有多个shard,每个shard相互独立;集群内每张表的数据划分为不同子集存储在不同shard上。由于分布式架构具有数据分片和本...
火山引擎上云迁移指南(二):迁移实施
火山引擎对象存储TOS(Tinder Object Storage)是火山引擎提供的海量、安全、低成本、易用、高可靠、高可用的分布式云存储服务。您可以通过RESTful API接口、SDK和工具等多种形式使用火山引擎TOS。通过网络,您可以在任何应用、任何时间、任何地点管理和访问火山引擎TOS上的数据。#### 在线迁移服务:存储迁移服务- **服务简介** [火山引擎存储迁移服务](https://www.volcengine.com/product/dms)是一个线上存储迁移服务,可以帮...
浅谈分布式操作系统 KubeWharf 的第二批开源项目|社区征文
书接上文,我们已经在文章[一文速览字节最新分布式操作系统](https://xie.infoq.cn/article/c9a6dd88e9e44a02849b58f0f)中介绍了去年 7 月 KubeWharf 的首批开源的项目,分别是 KubeBrain,KubeZoo,KubeGateway,以及 ... 资源推荐以及构建服务画像等基础能力;- 单机层包括自研的数据监控体系,以及负责资源实时分配和动态调整的资源分配器;- 最底层是字节定制的内核,通过增强内核的 patch 和底层隔离机制解决在离线跑时单机性能问...
