再到某头部科技公司从事云计算产品设计,之后又在某 AI 独角兽开始接触高性能计算 (HPC)。> 回看过去的这些年,在我从行业小白到架构师的成长之路上,「云技术」可以说是伴随我整个工作历程。> 借此征文机会也做个小结吧,从三方面谈谈我理解的云原生,知其然也要知其所以然。> - 从虚拟化到云原生> - 业务需求主导技术选型> - 架构设计优化数字化转型---「云技术」是一个相当广的概念,泛指基于云计算商业模式应用的网络技...
提供弹性计算和 Kubernetes 编排能力。来源 | 火山引擎云原生团队在 Kubernetes 和容器化技术愈发成熟的今日,越来越多企业开始将业务应用迁移到云上,采用云原生架构支持业务高速稳定地发展。而随着云计算向开... 为了避免性能瓶颈,往往倾向于按照最大负载规划资源,难以预测实际需求,可能造成大量资源闲置;* **资源扩容速度慢**:容器应用可能会经历突发流量,需要快速扩展以响应增加的负载。在传统以节点为中心的架构中,计算资...
作为云计算的下一个迭代,Serverless可以使开发者更专注于构建产品中的应用,而无需考虑底层堆栈问题。 伴随着近年来相关技术成熟度的增加,市场对Serverless的接受程度也变得越来越高。可以说时至今日,Serverless已迈入了向成熟稳定方向发展的高速轨道。 作为一款火山引擎推出的云原生数据仓库,ByteHouse基于开源ClickHouse构建,并在字节跳动内外部场景的检验下,对OLAP引擎能力、性能、运维、架构进一步...
作为云计算的下一个迭代,Serverless可以使开发者更专注于构建产品中的应用,而无需考虑底层堆栈问题。伴随着近年来相关技术成熟度的增加,市场对Serverless的接受程度也变得越来越高。可以说时至今日,Serverless已迈入了向成熟稳定方向发展的高速轨道。作为一款火山引擎推出的云原生数据仓库,ByteHouse基于开源ClickHouse构建,并在字节跳动内外部场景的检验下,对OLAP引擎能力、性能、运维、架构进一步升级。除此之外,ByteHouse也...
业务架构采取云边端配合的模式进行部署,才能够充分的发挥云边端的优势,未来会有越来越多的业务向着云边端混合部署的新架构方向发展。 随着云计算和边缘结合,出现了边缘计算概念,在数据源和云中心路径之间提供... 云原生应用越来越多,此时出现了在虚拟机中部署容器,容器和虚拟机相互嵌套。这一方案中,虚拟化仍然是主要技术,容器是辅助,是传统超融合应对云原生趋势的“过渡”方案。此阶段虽然解决了部分编排能力,但容器的弹性能...
云计算想要真正落地成为普惠各行各业的通用平台,对操作系统环境的要求将更为严苛: 安全性:操作系统作为支撑业务运行的系统底座,需要有可靠的安全保证,如执行常规的操作系统补丁更新,入侵检测与防护等。 稳定性:随着业务复杂度的提升,在大数据、机器学习、视频直播等多种形态的业务负载下,系统平稳持续运行至关重要。另外由于业务混合部署的特点,云化后系统问题引起宕机影响也会成倍放大。 系统性能:企业上云的目的是降本增效,操作...
Flink 计算引擎提供表层面的语义,作用类似于 Hive Meta Store,但是和 Hive Meta Store 相比:- Iceberg 能避免 File Listing 的开销;- 也能够提供更丰富的语义,包括 Schema 演进、快照、行级更新、 ACID 增量... 因此针对以上问题的优化方向是根据用户对读写性能的要求,及可用的计算资源设置了一些对应的表属性,具体优化参考如下:- 在写的并行度方面通过设置 write.target-file-size-bytes 参数调整合适的文件大小,让合并...
短视频等不同业务的实时数仓关注的埋点范围实际上都只是其中的一小部分。如果各业务分别使用一个Flink任务,消费抖音埋点Topic,过滤消费各自关注的埋点,需要消耗大量Yarn资源,同时会造成MQ集群带宽扇出严重,影... 和Kafka的性能瓶颈、以及JSON数据格式带来的性能和数据质量问题都一一显现出来,与此同时下游业务对延迟、数据质量的敏感程度却是与日俱增。于是,我们一方面对一些痛点进行了针对性的优化。另一方面,花费1年多...
推广搜服务是指为抖音、西瓜视频、懂车帝等 Feed 服务和搜索提供内容列表的后端服务,它们大量应用机器学习模型进行服务优化,属于重度算力要求服务。视频处理、机器学习和大数据服务属于偏离线的服务,它们为推广搜离线训练、视频处理、数据报表提供数据处理支持,通常运行在 Hadoop、Mesos 等调度系统上。基于上述业务类型划分,云原生技术在字节跳动业务中的落地过程如下图所示:![picture.image](https://p3-volc-...
火山引擎云原生计算团队在云原生大数据领域进行了诸多探索与实践。基于此, **云原生** **计算与 DataFun 联合出品了** **云原生** **大数据** **知识地图**,从理念概述、架构介绍、功能详述、场景及价值等方... 业务是混部的,比如在线和离线业务,它可以按分时复用的方式来调用资源。* **资源调度层面**:在传统模式下,如果一个 Flink 集群有100台机器,那这100台机器就由它独占;云原生模式虚拟化出了资源池的概念。资源池可...
存储计算分离:解决了全局元数据管理,过多小文件存储性能差等等技术难题。在最小化性能损耗的情况下,实现存储层与计算层的分离,独立扩缩容。- 新一代 MPP 架构:结合 Shared-nothing 的计算层以及 Shared-everything 的存储层,有效避免了传统 MPP 架构中的 Re-sharding 问题,同时保留了 MPP 并行处理能力。- 数据一致性与事务支持。- 计算资源隔离,读写分离:通过计算组(VW)概念,对宿主机硬件资源进行灵活切割分配,按需...
伴随着云原生技术的发展和推广,Kubernetes 已经成为了云计算时代的操作系统。在主机时代,操作系统有多个租户共享同一台物理机资源需求;在云计算时代,就出现了多个租户共享同一个 Kubernetes 集群的需求。在这方面... 这些都是 Cluster scope 的资源,需要系统管理员来协调,也就是说它的用户体验是有损的。其次,Cluster 或 Control plane 的隔离方案引入了过多的额外开销,比如每个租户需要建立独立的控制面组件,这样就降低了资源...
而透视图表是用来观察一个整体的数据在多个维度下的切分的结果,反映在图表上就是具有树状结构的图表展示。用户可以通过引入细分的维度,观察数据在不同分面中的特征和趋势,从而从更细粒度上了解数据中包含的信息。... 通过Canvas对表格进行高性能渲染。实现二维表、透视表、透视图的能力以外,还支持了自定义单元格渲染,单元格渲染迷你图,树形展示、透视分析等高阶功能。 ![picture.image](https://p6-volc-community-sig...