fanouthbase
社区干货
观点|SparkSQL在企业级数仓建设的优势
MapReduce和HBase,形成了早期Hadoop的三大利器。然而这三大利器更聚焦在异构数据的信息提取处理上,没有提供对结构化数据很友好的类似SQL语法的分析入口,同时在编程态的支撑也不够友好,只有Map和Reduce两阶段,... =&rk3s=8031ce6d&x-expires=1713889228&x-signature=ikHUKFanbM%2BGHCYCKM%2F7TaJ7Ymc%3D)如上图所示,一个基于Spark SQL构建的企业数仓架构逻辑架构设计上包含以上几个部分,每一个Spark SQL 引擎都是一个服务...
分布式数据缓存中的一致性哈希算法|社区征文
HBase,Lucene 和 Guava 都在使用它。- FNV 算法:全称为 Fowler-Noll-Vo 算法,是以三位发明人 Glenn Fowler,Landon Curt Noll,Phong Vo 的名字来命名的,最早在 1991 年提出。 FNV 能快速 hash 大量数据并保持较小... System.out.println(StatisticsUtil.variance(atomicLongMap.asMap().values().toArray(new Long[]{}))); System.out.println(StatisticsUtil.standardDeviation(atomicLongMap.asMap().values()....
数据库顶会 VLDB 2023 论文解读:Krypton: 字节跳动实时服务分析 SQL 引擎设计
结果通过 ETL 导入到 HBase/ES/ClickHouse 等系统提供在线的查询服务。对于实时链路, 数据会直接进入到 HBase/ES 提供高并发低时延的在线查询服务,另一方面数据会流入到 ClickHouse/Druid 提供在线的查询聚合服务。... =&rk3s=8031ce6d&x-expires=1713975630&x-signature=k4RT6Q1QtVwb7T7qVIfAnh0E4ok%3D)如图所示,Krypton 支持两层分区,第一层叫做 Partition,第二层我们称为 Tablet,每一层都支持 Range/Hash/List 的分区策略。每...
关于大数据计算框架 Flink 内存管理的原理与实现总结 | 社区征文
Hbase,为了获取C一样的性能以及避免OOM的发生。### Flink内存管理因为Java对象及jvm内存管理存在的问题,flink针对这些问题基于jvm进行了优化, Flink内存管理主要会涉及内存管理、定制的序列化工具、缓存友好的... OutOfMemoryErrors可以有效的避免。- 节省内存空间。java对象再存储上有很多额外的消耗。如果只存储实际的二进制内容,就可以避免这部分消耗。- 高效的二进制操作 & 缓存友好的计算。二进制数据以定义好的格式...
特惠活动
fanouthbase-优选内容
fanouthbase-相关内容
设置冷热分离分界
数据冷热分离,需要以时间分界点为依据,对数据进行存储。本文介绍如何设置冷热分离时间分界点。 前提条件已创建实例,且已开通容量型存储,详情请参见开通容量型存储。 已连接 HBase 实例: 通过 HBase Shell 连接实例... System.out.println("result: " + table.get(get)); 指定 TimeRange(Unix 时间戳,单位为毫秒(ms)),系统会对 TimeRange 和 COLD_BOUNDARY 进行比较,决定是查询热数据、冷数据或同时查询热数据和冷数据。 java get =...
观点|SparkSQL在企业级数仓建设的优势
MapReduce和HBase,形成了早期Hadoop的三大利器。然而这三大利器更聚焦在异构数据的信息提取处理上,没有提供对结构化数据很友好的类似SQL语法的分析入口,同时在编程态的支撑也不够友好,只有Map和Reduce两阶段,... =&rk3s=8031ce6d&x-expires=1713889228&x-signature=ikHUKFanbM%2BGHCYCKM%2F7TaJ7Ymc%3D)如上图所示,一个基于Spark SQL构建的企业数仓架构逻辑架构设计上包含以上几个部分,每一个Spark SQL 引擎都是一个服务...
分布式数据缓存中的一致性哈希算法|社区征文
HBase,Lucene 和 Guava 都在使用它。- FNV 算法:全称为 Fowler-Noll-Vo 算法,是以三位发明人 Glenn Fowler,Landon Curt Noll,Phong Vo 的名字来命名的,最早在 1991 年提出。 FNV 能快速 hash 大量数据并保持较小... System.out.println(StatisticsUtil.variance(atomicLongMap.asMap().values().toArray(new Long[]{}))); System.out.println(StatisticsUtil.standardDeviation(atomicLongMap.asMap().values()....
数据库顶会 VLDB 2023 论文解读:Krypton: 字节跳动实时服务分析 SQL 引擎设计
结果通过 ETL 导入到 HBase/ES/ClickHouse 等系统提供在线的查询服务。对于实时链路, 数据会直接进入到 HBase/ES 提供高并发低时延的在线查询服务,另一方面数据会流入到 ClickHouse/Druid 提供在线的查询聚合服务。... =&rk3s=8031ce6d&x-expires=1713975630&x-signature=k4RT6Q1QtVwb7T7qVIfAnh0E4ok%3D)如图所示,Krypton 支持两层分区,第一层叫做 Partition,第二层我们称为 Tablet,每一层都支持 Range/Hash/List 的分区策略。每...
关于大数据计算框架 Flink 内存管理的原理与实现总结 | 社区征文
Hbase,为了获取C一样的性能以及避免OOM的发生。### Flink内存管理因为Java对象及jvm内存管理存在的问题,flink针对这些问题基于jvm进行了优化, Flink内存管理主要会涉及内存管理、定制的序列化工具、缓存友好的... OutOfMemoryErrors可以有效的避免。- 节省内存空间。java对象再存储上有很多额外的消耗。如果只存储实际的二进制内容,就可以避免这部分消耗。- 高效的二进制操作 & 缓存友好的计算。二进制数据以定义好的格式...
干货|数据湖技术在抖音近实时场景的实践
导入到实时的 Redis 或 HBase 存储,然后复用到实时计算中。 下图是基于Hudi构建的湖仓架构,该架构强调实时、离线数据的复用性(从图中虚线可以看出)。数据湖近实时同步的数据,可...
火山引擎 Iceberg 数据湖的应用与实践
然后以 Fanout 的方式同时去向多个分区写数据,而 Task Manager 同时需要写的分区数太多,进而会导致Writer 过多 Task Manager OOM 的情况。这个问题的解决方法是在 Flink 侧按照 Iceberg 表的分区字段对数据做 Keyby 操作,然后把同一个分区的数据集中在同一个 Subtask 中写,从而把每一个 Task Manager 同时需要写的分区数控制在一个合理的范围避免 OOM 的问题。### 物化视图