不依赖hadoop数据仓库
社区干货
浅谈大数据建模的主要技术:维度建模 | 社区征文
## 前言我们不管是基于 Hadoop 的数据仓库(如 Hive ),还是基于传统 MPP 架构的数据仓库(如Teradata ),抑或是基于传统 Oracle 、MySQL 、MS SQL Server 关系型数据库的数据仓库,其实都面临如下问题:- 怎么组织数据仓库中的数据?- 怎么组织才能使得数据的使用最为方便和便捷?- 怎么组织才能使得数据仓库具有良好的可扩展性和可维护性?> **Ralph Kimball 维度建模理论很好地回答和解决了上述问题。**维度建模理论和技术也是...
干货 |揭秘字节跳动基于 Doris 的实时数仓探索
> 火山引擎 EMR 作为一款云原生开源大数据平台产品,集成了包括 Hadoop、Spark、Flink 等引擎,并做到100%开源兼容。Doris 作为 OLAP 领域中一款极具代表性的开源组件,也被集成到了火山引擎 EMR 产品生态中。> 本文... 完成了数据的存算分离,数据弹性问题得到了解决,但元数据问题依旧存在。现在 Doris 的源数据是通过 bdb 做选主, 通过本地做数据持久化, 通过3副本做高可用,这种模式依然依赖于3节点来实现高可用. 我们希望能做一个 ...
干货|揭秘字节跳动对Apache Doris 数据湖联邦分析的升级和优化
>火山引擎 EMR 作为一款云原生开源大数据平台产品,集成了包括 Hadoop、Spark、Flink 等引擎,并做到100%开源兼容。Doris 作为 OLAP 领域中一款极具代表性的开源组件,也被集成到了火山引擎 EMR 产品生态中。 > 本文... 其次介绍 Apache Doris 数据湖联邦分析的整体设计和相关特性,最后介绍 Apache Doris 在数据湖联邦分析上的未来规划。# 1. 湖仓一体架构演进回顾湖仓一体的发展史,主要经历了三个阶段。第一个阶段是数据仓库,第...
火山引擎云原生数据仓库 ByteHouse 技术白皮书 V1.0(上)
> 更多技术交流、求职机会,欢迎关注**字节跳动数据平台微信公众号,回复【1】进入官方交流群** **近日,《火山引擎云原生数据仓库 ByteHouse 技术白皮书》正式发布。** 白皮书简述了 ByteHouse 基于 ClickHous... ByteHouse 需要支持海量数据的实时接入、无限扩展存储、实时合并计算和关联聚合查询。 **随着大数据应用的深入发展,最核心的业务需求如下:****1)提高分析的实时性**最近 10 年,以 hadoop 技术体系为代表...
特惠活动
不依赖hadoop数据仓库-优选内容
不依赖hadoop数据仓库-相关内容
火山引擎云原生数据仓库 ByteHouse 技术白皮书 V1.0(上)
> 更多技术交流、求职机会,欢迎关注**字节跳动数据平台微信公众号,回复【1】进入官方交流群** **近日,《火山引擎云原生数据仓库 ByteHouse 技术白皮书》正式发布。** 白皮书简述了 ByteHouse 基于 ClickHous... ByteHouse 需要支持海量数据的实时接入、无限扩展存储、实时合并计算和关联聚合查询。 **随着大数据应用的深入发展,最核心的业务需求如下:****1)提高分析的实时性**最近 10 年,以 hadoop 技术体系为代表...
字节跳动10万节点 HDFS 集群多机房架构演进之路
# **背景**## **现状**HDFS 全称是 Hadoop Distributed File System,其本身是 Apache Hadoop 项目的一个模块,作为大数据存储的基石提供高吞吐的海量数据存储能力。自从 2006 年 4 月份发布以来,HDFS 目前依然有... DanceNN,即字节跳动自研的高性能 NameNode 实现。这 3 者构成一个分层的单向依赖关系链, DanceNN -> BookKeeper -> ZooKeeper,因此这 3 者可以独立完成双机房的容灾方案,最终在整体上呈现一个双机房容灾的 N...
揭秘字节跳动基于 Doris 的实时数仓探索
火山引擎 EMR 作为一款云原生开源大数据平台产品,集成了包括 Hadoop、Spark、Flink 等引擎,并做到100%开源兼容。Doris 作为 OLAP 领域中一款极具代表性的开源组件,也被集成到了火山引擎 EMR 产品生态中。本文来源... 完成了数据的存算分离,数据弹性问题得到了解决,但元数据问题依旧存在。现在 Doris 的源数据是通过 bdb 做选主, 通过本地做数据持久化, 通过3副本做高可用,这种模式依然依赖于3节点来实现高可用. 我们希望能做一个 ...
字节跳动10万节点HDFS集群多机房架构演进之路
**01****背景****现状**### HDFS 全称是 Hadoop Distributed File System,其本身是 Apache Hadoop 项目的一个模块,作为大数据存储的基石提供高吞吐的海量数据存储... 数据服务。* Apache BookKeeper,为 NameNode 的高可用方案提供 EditLog 共享存储方案。* DanceNN,即字节跳动自研的高性能 NameNode 实现。 这 3 者构成一个分层的单向依赖关系链, DanceNN -> B...
观点|SparkSQL在企业级数仓建设的优势
企业数据仓库架构必然不等于一个组件,大部分企业在数仓架构实施的都是都是基于现有的部分方案,进行基于自己业务合适的方向进行部分开发与定制,从而达到一个半自研的稳态,既能跟上业务变化的速度,又不过于依赖和受限... 检索三个方向阐述了海量数据下一种新的分布式数据加工处理技术,这三个方向被雅虎Nutch团队实现后贡献给Apache,也就是目前大家看到的HDFS,MapReduce和HBase,形成了早期Hadoop的三大利器。然而这三大利器更聚焦...
干货 | 这样做,能快速构建企业级数据湖仓
Velox 引擎现在不太成熟,但是根据 Presto 社区官方说法,可以实现原来 1/3 的成本。由此可猜测,等价情况下能获得 3X 性能提升。除了以上两者,近几年热门的 ClickHouse 和 Doris 也是 Native 化的表现。### **第二,向量化。**Codegen 和向量化都是从数据仓库,而不是 Hadoop 体系的产品中衍生出来。Codegen 是 Hyper 提出的技术,而向量化则是 MonetDB 提出的,所以计算引擎的精细化也是沿着数仓开辟的路子在走。Spark ...
9年演进史:字节跳动 10EB 级大数据存储实战
# 背景## **HDFS** **简介**HDFS 全名 Hadoop Distributed File System,是业界使用最广泛的开源分布式文件系统。原理和架构与 Google 的 GFS 基本一致。它的特点主要有以下几项:- 和本地文件系统一样的目录... 依赖于一些外部组件如 Redis,MySQL 等,会有一批无状态的 NNProxy 组成,他们提供了请求路由、Quota 限制、Tracing 能力及流量限速等能力。### **元数据层**这一层主要模块有 Name Node、ZKFC 和 BookKeeper(不同...
后 Hadoop 时代,字节跳动如何打造云原生计算平台
为了支撑 EB 级别的数据存储,字节跳动用 C++ 重写了一套 HDFS,集群规模扩大的同时,也能兼顾性能。同时存储层也能托管各种不同的企业存储系统,对象存储、原始 HDFS 存储都能平滑融入使用。在资源管理和调度层面上,由于服务规模巨大,字节跳动也经过上千次的修改,提供了定制化的 YARN 服务,并可平滑迁移到 K8s 上。YARN 是 Hadoop 集群的资源管理系统,被字节多款产品重度依赖。消息中间件 BMQ 也是字节跳动用 C++ 重写的一套存...
基于火山引擎 EMR 构建企业级数据湖仓
Presto:现在在做 Velox 的 native 引擎。 Velox 引擎现在还不太成熟,但是根据 Presto 社区的宣称,它可以达到原来 1/3 的成本。所以我们可以猜测,等价情况下可以获得 3X 的性能提升。除了以上两者,近几年火起来的 ClickHouse 和 Doris 也是 Native 化的一个表现。另外一个趋势是向量化。说到这里要提一句,Codegen 跟向量化,都是从数据仓库而不是 Hadoop 体系的产品中长出来的:Codegen 是 Hyper 提出的技术,而向量化则是 M...
