hbasehindex
社区干货
干货 | 字节跳动构建Data Catalog数据目录系统的实践(上)
当前使用的是HBase* Index Store:存放用于加速查询,支持全文索引等场景的索引,当前使用的是ElasticSearch* Model Store:存放推荐、打标等的算法模型信息,使用HDFS,当ML Service启用时使用**元数据的消费*** 数据的生产者和消费者,通过Data Catalog的前端与系统交互* 下游在线服务可通过OpenAPI访问元数据,与系统交互* Metadata Outputs Layer:提供除了API之外的另外一种下游消费方式+ MQ:用于暂存各类元数据变...
揭秘|字节跳动基于Hudi的实时数据湖平台
Hbase index 以及 Bucket Index,其中 **Bucket Index 尚未合并到主分支**。 字节跳动基于Hudi的实时数据湖平台 字节跳动基于 Hudi 的实时数据湖平台,通过秒级数据可见支持实时数仓。除了提供 Hudi 社区的所有功能外,还支持基于数据湖的元数据管理系统、行列级别的并发更新、Bucket Index和Append模式等特性。 LAS**字节跳动实时数据湖平台应用场景**...
字节跳动数据湖索引演进
索引信息存储在 Hbase 数据库上。③ Bucket Index。字节提出的一种基于哈希的实现,不需要额外存储索引信息,可以直接根据文件名映射构建索引。④ Flink State。Flink 数据入湖的默认实现方式,索引信息存储在 Flink 的State 中。
特惠活动
hbasehindex-优选内容
hbasehindex-相关内容
干货|Hudi Bucket Index 在字节跳动的设计与实践
**HBase Index** | 维护每一个 Record Key 的 Partition Path 和 File Group,在插入 File Group定位阶段所有 task 向 HBase 发送 Batch Get 请求,获取 Record Key 的 Mapping 信息。 | 重量级,Record Key 到 File Group 的 mapping 记录在 HBase。对于小批次的keys,查询效率高,依赖外部系统。Hbase Index 会引入额外的外部系统,从而提升运维代价。 |在本文中,我们将介绍一个新的 Hudi 索引模块 Bucket Index 在字节跳动的设...
字节跳动基于 Hudi 的实时数据湖平台
Hbase index 以及 Bucket Index,其中 **Bucket Index 尚未合并到主分支**。 ## 字节跳动基于Hudi的实时数据湖平台 字节跳动基于 Hudi 的实时数据湖平台,通过秒级数据可见支持实时数仓。除了提供 Hudi 社区的所有功能外,还支持基于数据湖的元数据管理系统、行列级别的并发更新、Bucket Index 和 Append 模式等特性。 # 2. **字节跳动实时数据湖平台应用场景** ## 2.1 典型 Hudi Pipeline 场景