spark与hbase
社区干货
我的大数据学习总结 |社区征文
最后结合工作需要和个人经历,我制定了一套适合自己的学习路线:开始学习Linux命令和系统基本概念。然后分别学习Java、Python以及Scala这几种在大数据开发中常用的编程语言。然后着重学习Hadoop核心技术如HDFS和MapReduce;接触数据库Hive后,学习数据流技术Kafka和分布式协调服务Zookeeper。深入研究Yarn和求执行引擎Spark。此外还了解其他技术如HBase、Sqoop等。同时学习计算机网络知识和操作系统原理。后面再系统学习关系数据库M...
万字长文,Spark 架构原理和 RDD 算子详解一网打进! | 社区征文
HBase等```cppscala> val file = sc.textFile("/spark/hello.txt")```### 3.2 通过并行化的方式创建RDD由一个已经存在的Scala集合创建。```cppscala> val array = Array(1,2,3,4,5)array: Array[Int] = Array(1, 2, 3, 4, 5)scala> val rdd = sc.parallelize(array)rdd: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[27] at ...
在大数据量中 Spark 数据倾斜问题定位排查及解决|社区征文
### 1. 开篇2023年即将过去,又到了一年一度的技术总结时刻,在这一年,参与了多个大数据项目的开发建设工作,也参与了几个数仓项目的治理优化工作,在这么多的项目中,让我印象比较深刻的就是在使用Spark引擎执行任务出现的报错现象,接下来就回顾复盘下这次任务报错现象及具体的解决方案。### 2. 问题描述因为现在大多数的批量任务都是使用Spark去执行,所以Spark的地位在公司是举足轻重,那么对于Spark的深入理解和优化显得尤为重...
干货 | 看 SparkSQL 如何支撑企业级数仓
Spark 等组件自身基于可重算的数据落盘机制,确保某个节点出现故障或者部分任务失败后可以快速进行恢复。数据保存于 HDFS 等分布式存储系统上,自身不管理数据,具有极高的稳定性和容错处理机制。反过来,因为 Hive,... MapReduce 和 HBase,形成了早期 Hadoop 的三大利器。然而这三大利器更聚焦在异构数据的信息提取处理上,没有提供对结构化数据很友好的类似 SQL 语法的分析入口,同时在编程态的支撑也不够友好,只有 Map 和 Reduce ...
特惠活动
spark与hbase-优选内容
spark与hbase-相关内容
干货|字节跳动数据技术实战:Spark性能调优与功能升级
Spark2.3 到Spark3.0的版本升级,性能可提升36%,Spark3.0到Spark 3.2的版本升级,性能可提升15%。从字节内部的实测来看,也分别可以带来16%和7%的性能提升。**因此,版本升级所带来的整体收益比较可观。**!... =&rk3s=8031ce6d&x-expires=1715012444&x-signature=4so98nPUiEbKe6xRU5uUzbCQevs%3D) 合并小文件主要是两种思路: **MergeFile和FragPartitionCompaction,** 使用场景和具体实现均不同。 **●**...
字节跳动 Spark Shuffle 大规模云原生化演进实践
## 背景Spark 是字节跳动内部使用广泛的计算引擎,已广泛应用于各种大规模数据处理、机器学习和大数据场景。目前中国区域内每天的任务数已经超过 150 万,每天的 Shuffle 读写数据量超过 500 PB。同时某些单个任务的 Shuffle 数据能够达到数百 TB 级别。与此同时作业量与 Shuffle 的数据量还在增长,相比去年,今年的天任务数增加了 50 万,总体数据量的增长超过了 200 PB,达到了 50% 的增长。Shuffle 是用户作业中会经常触发的功...
观点|SparkSQL在企业级数仓建设的优势
第二个部分则重点介绍了字节跳动数据平台在通过SparkSQL进行企业级数仓建设的实践。> > > > 公布了第十五批“可信大数据”产品能力评测结果。**火山引擎流式计算 Flink 版和火山引擎批式计算 Spark 版**凭借出色的基础能力、优秀的性... 为推荐效果的实时性和稳定性提供了有力保障。在模型训练方面,流式计算 Flink 版支撑了推荐算法模型的核心训练任务,帮助模型及数据流快速迭代,提升模型稳定性,从而更好地协助业务团队助力广告主投放与媒体变现能力...
功能发布记录
HBase组件中新增ThriftServer服务。 更改、增强和解决的问题【组件】Spark组件版本由3.3.3升级为3.5.1。 【组件】StarRocks组件版本由3.1.6升级为3.2.3,支持Assume role方式访问对象存储TOS,以及访问Paimon数据。且在Spark和Flink中集成了StarRocks connector。 【组件】Hudi组件版本由0.12.2升级为0.14.1。 【组件】Iceberg组件版本由1.2.0升级为1.4.3。 【组件】Airflow组件版本由2.4.2升级为2.7.3。 【组件】DolphinSche...
SparkSQL 在企业级数仓建设的优势
第二个部分则重点介绍了字节跳动数据平台在通过 SparkSQL 进行企业级数仓建设的实践。