hbase分布式存储原理
社区干货
9年演进史:字节跳动 10EB 级大数据存储实战
# 背景## **HDFS** **简介**HDFS 全名 Hadoop Distributed File System,是业界使用最广泛的开源分布式文件系统。原理和架构与 Google 的 GFS 基本一致。它的特点主要有以下几项:- 和本地文件系统一样的目录... HBase,日志服务,Kafka 数据存储 - Yarn,Flink 的计算框架平台数据 - Spark,MapReduce 的计算相关数据存储![]()# **字节跳动特色的** **HDFS** **架构**在深入相关的技术细节之前,我们先看看字节跳动的 H...
字节跳动 NoSQL 的探索与实践
HBase、MongoDB 和 InfluxDB。此外自研的平台上提供了 ByteGraph 和 ABase,这两者和字节跳动的业务息息相关,也是内部业务重度依赖的两大产品。## 字节跳动 NoSQL 的最新实践字节跳动的大部分业务数据可归纳为以... 字节跳动自研了分布式图存储数据库 ByteGraph。针对刚才提到的图状数据结构,ByteGraph 支持有向属性的图数据模型、Gremlin 查询语言以及丰富的写入和查询接口,具有海量存储和吞吐能力,单体集群可达万亿条边,支持百...
基于国产化环境的金融级业务系统性能优化实践|社区征文
HBase解决方案。Trafodion的主要设计思想是处理operational类型的工作负载,或者是传统的OLTP应用。2006年,NonStop SQL的OLAP分支Neoview诞生,而Trafodion直接继承于Neoview和其后续产品SeaQuest。SeaQuest将Neoview从其专有的硬件,和专有的NonStop OS操作系统中移植到通用的x86服务器和通用的Linux操作系统上。2014年,乘着大数据的浪潮,SeaQuest将底层的数据存储和访问引擎移植到HBase/Hadoop上,并创新地开发出HBase分布式事务处...
字节跳动 NoSQL 的探索与实践
> 本文整理自火山引擎开发者社区技术大讲堂第三期演讲,主要介绍了 NoSQL 的前世今生和发展脉搏,以及字节跳动 NoSQL 的实践。**作者:王佳毅|火山引擎存储&数据库解决方案负责人**## NoSQL 应用的现状什么是 NoSQL?我们知道关系型数据库强调 CAP 理论:Consistency,Availability 和 Partition Tolerance,这三者不可兼得。谈到 NoSQL,我们会引入 BASE 概念:- Basically Available:分布式系统在出现故障时允许损失部分可用性,...
特惠活动
hbase分布式存储原理-优选内容
hbase分布式存储原理-相关内容
冷热分离介绍
表格数据库 HBase 版支持冷热分离,通过不同的存储介质,有效降低存储成本。 背景信息随着业务的迭代和广泛应用,表中的数据量持续上涨,但随着时间流逝,很多数据的访问频率会逐步减少。例如账单、订单等信息,一般只会... 表格数据库 HBase 版根据数据冷热需要提供不同的存储模式,系统会根据设置的冷热分离时间分界点,将表中的历史数据归档至冷存储中,从而降低存储成本。 原理介绍表格数据库 HBase 版提供容量型存储作为冷存储介质,支持...
9年演进史:字节跳动 10EB 级大数据存储实战
# 背景## **HDFS** **简介**HDFS 全名 Hadoop Distributed File System,是业界使用最广泛的开源分布式文件系统。原理和架构与 Google 的 GFS 基本一致。它的特点主要有以下几项:- 和本地文件系统一样的目录... HBase,日志服务,Kafka 数据存储 - Yarn,Flink 的计算框架平台数据 - Spark,MapReduce 的计算相关数据存储![]()# **字节跳动特色的** **HDFS** **架构**在深入相关的技术细节之前,我们先看看字节跳动的 H...
字节跳动 NoSQL 的探索与实践
HBase、MongoDB 和 InfluxDB。此外自研的平台上提供了 ByteGraph 和 ABase,这两者和字节跳动的业务息息相关,也是内部业务重度依赖的两大产品。## 字节跳动 NoSQL 的最新实践字节跳动的大部分业务数据可归纳为以... 字节跳动自研了分布式图存储数据库 ByteGraph。针对刚才提到的图状数据结构,ByteGraph 支持有向属性的图数据模型、Gremlin 查询语言以及丰富的写入和查询接口,具有海量存储和吞吐能力,单体集群可达万亿条边,支持百...
基于国产化环境的金融级业务系统性能优化实践|社区征文
HBase解决方案。Trafodion的主要设计思想是处理operational类型的工作负载,或者是传统的OLTP应用。2006年,NonStop SQL的OLAP分支Neoview诞生,而Trafodion直接继承于Neoview和其后续产品SeaQuest。SeaQuest将Neoview从其专有的硬件,和专有的NonStop OS操作系统中移植到通用的x86服务器和通用的Linux操作系统上。2014年,乘着大数据的浪潮,SeaQuest将底层的数据存储和访问引擎移植到HBase/Hadoop上,并创新地开发出HBase分布式事务处...
字节跳动 NoSQL 的探索与实践
> 本文整理自火山引擎开发者社区技术大讲堂第三期演讲,主要介绍了 NoSQL 的前世今生和发展脉搏,以及字节跳动 NoSQL 的实践。**作者:王佳毅|火山引擎存储&数据库解决方案负责人**## NoSQL 应用的现状什么是 NoSQL?我们知道关系型数据库强调 CAP 理论:Consistency,Availability 和 Partition Tolerance,这三者不可兼得。谈到 NoSQL,我们会引入 BASE 概念:- Basically Available:分布式系统在出现故障时允许损失部分可用性,...
我的大数据学习总结 |社区征文
学习数据流技术Kafka和分布式协调服务Zookeeper。深入研究Yarn和求执行引擎Spark。此外还了解其他技术如HBase、Sqoop等。同时学习计算机网络知识和操作系统原理。后面再系统学习关系数据库MySQL和数据仓库理论。学习分布式原理和架构也很重要。这个学习顺序参考了我之前的工作和学习经历情况后订定。需要注意,大数据领域的技术很多很广,如Flink也值得研究。本人给出的仅作为一个参考案例,学习者还需结合实际情况选择合适的学习路...
9年演进史:字节跳动 10EB 级大数据存储实战
作为目前字节跳动内部存储量及集群规模最大的分布式存储系统,HDFS 一直伴随着字节跳动关键业务的飞速扩张而快速发展。本文从 HDFS 发展历程入手,介绍发展路径上的重大挑战及解决方案。 **01****背景****HDFS 简介**HDFS 全名 Hadoop Distributed File System,是业界使用最广泛的开源分布式文件系统。原理和架构与 Google 的 GFS 基本一致。它...
一文读懂火山引擎云数据库产品及选型
> **火山引擎存储&数据库产品解决方案团队**,由资深的存储&数据库解决方案架构师组成。团队致力于帮助企业与组织更好的使用火山引擎云存储与云数据库产品,针对实际业务场景设计最优的解决方案,用专业技术助力组织和... 分布式数据库等等。每一类数据库中使用不同的技术实现,又可以分化出不同的产品类型。根据 DB-Engines 的统计,数据库产品数量已经有将近 400 种,数据库厂商也有几百家,如下图所示,不同数据库产品的实际应用规模也大...
修改容量型存储大小
本文介绍如何修改 HBase 实例的容量型存储空间大小。 注意事项每个实例默认支持的容量型存储空间上限为 1,000,000GiB,步长为 10GiB。 缩容时,目标容量型存储空间不能小于当前已用空间的 120%,请根据实际业务情况合理选择。您可以在实例信息页的配置信息区域查看实例当前已用容量型存储空间大小。 费用说明按量计费实例为后付费,扩缩容后,系统将根据新存储容量按小时进行计费。 包年包年实例为预付费,扩缩容后,系统将根据升配、降...
