数据湖升级Gen2
社区干货
干货|揭秘字节跳动对Apache Doris 数据湖联邦分析的升级和优化
=&rk3s=8031ce6d&x-expires=1714839650&x-signature=gZ%2BliOzHaELMvgWg9ckI%2B%2Fk02ws%3D) 本文主要介绍 Apache Doris 设计和开发数据湖联邦分析特性的思考和实践。 全文分为三部分,首先介绍数... 数据可以秒级入库。实时数仓的分析能力也较强,支持秒级和亚秒级的数据分析,支持多维分析和联合分析。对外可以提供高并发数据服务,如 Doris 可以提供万级 QPS 的数据服务,也提供数据更新能力。**第一是高效的并发更新能力。** 因为它能够改变我们在 Hive ...
特惠活动
数据湖升级Gen2-优选内容
数据湖升级Gen2-相关内容
字节跳动基于 Hudi 的实时数据湖平台
=&rk3s=8031ce6d&x-expires=1714839697&x-signature=qqAxdEtzS%2BJG98HaeD8gRs9%2Fo%2Bk%3D)> 作者:耿筱喻 |字节跳动数据平台数据湖团队研发工程师# 1. **Hudi和字节跳动实时数据湖平台简介**Hudi 是一个流式数据湖平台,提供 ACID 功能,支持实时消费增量数据、离线批量更新数据,并且可以通过 Spark、Flink、Presto 等计算引擎进行查询。、append(非...
直播预告|数据湖实时化与智能化实践探索
数据湖相关技术正在各大企业中得到越来越广泛的应用。数据湖技术优雅地解决了**传统** **数仓** **场景下遇到的数据孤岛、数据不支持更新、不支持** **ACID** **事务、数据实效性差等核心问题**。在数据湖相关技... 数据存储、特征回填需求、降低成本、提升速度等需求的期待。本次分享将围绕以上业务需求展开:1. 字节跳动数据湖选型,Why Iceberg,如:元数据能力强、多版本快照、分布式扫描计划等;2. 字节跳动基于 Iceberg 的改...
干货|字节跳动数据湖技术选型的思考
本文是字节跳动数据平台开发套件团队在Flink Forward Asia 2021: Flink Forward 峰会上的演讲,着重分享了字节跳动数据湖技术上的选型思考和探索实践。 2022年12月18日 9:00-12:50,由火山引擎云原生计算技术负责人李亚坤出品的 DataFunCon 2022 大会「实时与智能数据湖」专场将围绕数据湖技术的实时化与智能化展开深度分享。专场全程直播,欢迎准时收看!近年来,数据湖相关技术正在各大企业中得到越来越广泛的应用。数据湖技术优雅地解决了**传统****数仓****场景下遇到的数据孤岛、数据不支持更新、不支持** **ACID** **事务、数据实...
字节跳动基于数据湖技术的近实时场景实践
数据湖采用了一种 schema on read 的模式,即不会事先对它的 schema 做过多的定义,而是在使用的时候才去决定 schema,从而支持上游更丰富、更灵活的应用。2. ## **字节**数据湖Apache Hudi有下面非常重要的特性... 字节数据湖支持 read optimize 和 real time两种 query 模式。同时提供 upsert(主键更新)、append(非主键更新)两种数据更新能力,应用扩展性强,对用户使用友好。# ▌**近实时技术架构**3. ## **近实时场景...
干货 | 实时数据湖在字节跳动的实践
来看一下字节跳动对数据湖的解读。我们是结合字节的业务场景来解读的。通过实践总结, **我们发现数据湖需要具备六大能力:****第一是高效的并发更新能力。**因为它能够改变我们在...
