hbasehdfs集群
社区干货
9年演进史:字节跳动 10EB 级大数据存储实战
易扩展,容错率高## HDFS 在字节跳动的发展字节跳动已经应用 HDFS 非常长的时间了。经历了 9 年的发展,目前已直接支持了十多种数据平台,间接支持了上百种业务发展。从集群规模和数据量来说,HDFS 平台在公司内部已经成长为总数十万台级别服务器的大平台,支持了 10 EB 级别的数据量。**当前在字节跳动,** **HDFS** **承载的主要业务如下:**- Hive,HBase,日志服务,Kafka 数据存储 - Yarn,Flink 的计算框架平台数据 -...
字节跳动10万节点 HDFS 集群多机房架构演进之路
近线 - ByteMQ - 流式任务 Checkpoint业界很多公司在维护 HDFS 服务时,采用的都是小集群模式,即生产上部署多个隔离独立的 HDFS 集群满足业务的不同需求。字节跳动采用的是横跨多个机房的联邦大集群部署模式,即 HDFS 只有一个集群,这个集群有多个 NameService,但是底层的 DN 是横跨 A/B/C 3 个机房的 ,由于社区版 HDFS 没有机房感知相关的支持,因此字节跳动 HDFS 团队在这个功能上做了专门的设计和实现,本文会...
字节跳动10万节点HDFS集群多机房架构演进之路
**01****背景****现状**### HDFS 全称是 Hadoop Distributed File System,其本身是 Apache Hadoop 项目的一个模块,作为大数据存储的基石提供高吞吐的海量数据存储能力。自从 2006 年 4 月份发布以来,HDFS 目前依然有着非常广泛的应用,以字节跳动为例,随着公司业务的高速发展,目前 HDFS 服务的规模已经到达“双 10”的级别:* 单集群节点 10 万台级别* 单集群数据量达到 10...
9年演进史:字节跳动 10EB 级大数据存储实战
从集群规模和数据量来说,HDFS 平台在公司内部已经成长为总数十万台级别服务器的大平台,支持了 10 EB 级别的数据量。---------------------------------------------------------------------------------------------------------------------------- **当前在字节跳动,** **HDFS** **承载的主要业务如下:*** Hive,HBase,日志服务,Kafka 数据存储* Yarn,Flink 的计算框架平台数据* Spark,MapReduce 的计算相关数据...
特惠活动
hbasehdfs集群-优选内容
hbasehdfs集群-相关内容
权限管理
快速的实现对于 EMR 集群进行权限配置。 1 Ranger 默认启用情况权限管理在 EMR 3.1.0 软件栈版本中引入,目前支持的集群类型和服务如下表所示: 分析场景 集群类型 服务 默认启用 Ranger 鉴权 数据湖 Hadoop HDFS ✅ YARN ✅ Hive ✅ Spark ✅ Presto Trino 实时计算 Kafka Kafka ✅ 交互式分析 Presto HDFS Hive Presto ✅ Trino HDFS Hive Trino ✅ NoSQL 数据库 HBase HDFS HBase ✅ 2 使用限制为保证权限管理模块功能...
配置 HBase 数据源
连接串形式 参数 说明 基本配置 数据源类型 HBase 接入方式 连接串 数据源名称 数据源的名称,可自行设置,仅支持中文,英文,数字,“_”,100个字符以内。 参数配置 ZK访问端口 客户端连接 server 的端口,即 ZK 对外服务端口。 是否为分布式部署 根据实际情况选择 HBase 是否为分布式部署。 ZK集群地址列表 ZK 服务器集群的地址列表。 ZK中HBase根路径 ZK 集群中 HBase 在 hdfs 上的存储位置,自动填充,可编辑。 ...
EMR-2.3.1 版本说明
环境信息 系统环境版本 环境 OS veLinux(Debian 10兼容版) Python2 2.7.16 Python3 3.7.3 Java ByteOpenJDK 1.8.0_352 应用程序版本 Hadoop集群 HBase集群 Flume 1.9.0 - OpenLDAP 2.5.13 2.5.13 Ranger 1.2.0 - ZooKeeper 3.7.0 3.7.0 Flink 1.15.1 - HDFS 2.10.2 2.10.2 MapReduce2 2.10.2 - YARN 2.10.2 - Airflow 2.4.2 - Hive 2.3.9 - Hue 4.10.0 - Knox 1.5.0 - Presto 0.280 - Trino 412 - Spark 2.4.8 - Sqoop 1.4.7 - T...
EMR-2.2.0 版本说明
环境信息 系统环境版本 环境 OS veLinux(Debian 10兼容版) Python2 2.7.16 Python3 3.7.3 Java ByteOpenJDK 1.8.0_352 应用程序版本 Hadoop集群 HBase集群 Flume 1.9.0 - OpenLDAP 2.4.58 2.4.58 Ranger 1.2.0 - ZooKeeper 3.7.0 3.7.0 Flink 1.15.1 - HDFS 2.10.2 2.10.2 MapReduce2 2.10.2 - YARN 2.10.2 - Airflow 2.4.2 - Hive 2.3.9 - Hue 4.9.0 - Knox 1.5.0 - Presto 0.267 - Trino 392 - Spark 2.4.8 - Sqoop 1.4.7 - Te...
EMR-3.7.0 版本说明
环境信息 版本 环境 OS veLinux(Debian 10兼容版) Python2 2.7.16 Python3 3.10.13 Java ByteOpenJDK 1.8.0_352 系统环境应用程序版本 Hadoop集群 Flink集群 Kafka集群 Pulsar集群 Presto集群 Trino集群 HBase集群 Doris集群 StarRocks集群 HDFS 3.3.4 3.3.4 - - 3.3.4 3.3.4 3.3.4 - - YARN 3.3.4 3.3.4 - - - - 3.3.4 - - MapReduce2 3.3.4 3.3.4 - - - - 3.3.4 - - Hive 3.1.3 - - - 3.1.3 3.1.3 - - - Spark 3.3.3 - - - - -...
EMR-3.8.0 版本说明
环境信息 版本 环境 OS veLinux(Debian 10兼容版) Python2 2.7.16 Python3 3.10.13 Java ByteOpenJDK 1.8.0_352 系统环境应用程序版本 Hadoop集群 Flink集群 Kafka集群 Pulsar集群 Presto集群 Trino集群 HBase集群 Doris集群 StarRocks集群 HDFS 3.3.4 3.3.4 - - 3.3.4 3.3.4 3.3.4 - - YARN 3.3.4 3.3.4 - - - - 3.3.4 - - MapReduce2 3.3.4 3.3.4 - - - - 3.3.4 - - Hive 3.1.3 - - - 3.1.3 3.1.3 - - - Spark 3.3.3 - - - - -...
9年演进史:字节跳动 10EB 级大数据存储实战
易扩展,容错率高## HDFS 在字节跳动的发展字节跳动已经应用 HDFS 非常长的时间了。经历了 9 年的发展,目前已直接支持了十多种数据平台,间接支持了上百种业务发展。从集群规模和数据量来说,HDFS 平台在公司内部已经成长为总数十万台级别服务器的大平台,支持了 10 EB 级别的数据量。**当前在字节跳动,** **HDFS** **承载的主要业务如下:**- Hive,HBase,日志服务,Kafka 数据存储 - Yarn,Flink 的计算框架平台数据 -...
EMR-2.3.0 版本说明
环境信息 系统环境版本 环境 OS veLinux(Debian 10兼容版) Python2 2.7.16 Python3 3.7.3 Java ByteOpenJDK 1.8.0_352 应用程序版本 Hadoop集群 HBase集群 Flume 1.9.0 - OpenLDAP 2.5.13 2.5.13 Ranger 1.2.0 - ZooKeeper 3.7.0 3.7.0 Flink 1.15.1 - HDFS 2.10.2 2.10.2 MapReduce2 2.10.2 - YARN 2.10.2 - Airflow 2.4.2 - Hive 2.3.9 - Hue 4.10.0 - Knox 1.5.0 - Presto 0.280 - Trino 412 - Spark 2.4.8 - Sqoop 1.4.7 - T...
EMR-3.6.1 版本说明
Python2 2.7.16 Python3 3.10.13 Java ByteOpenJDK 1.8.0_352 应用程序版本 Hadoop集群 Flink集群 Kafka集群 HBase集群 StarRocks集群 ClickHouse集群 OpenSearch集群类型 Flume 1.9.0 1.9.0 1.9.0 - - - - OpenLDAP 2.5.13 2.5.13 2.5.13 2.5.13 - - 2.5.13 Ranger 2.1.0 2.1.0 2.1.0 2.1.0 - - - ZooKeeper 3.7.0 3.7.0 3.7.0 3.7.0 - 3.7.0 - Flink 1.16.1 1.16.1 - - - - - HDFS 3.3.4 3.3.4 - 3.3.4 - - - MapReduce2 3.3....
