> **前言:** 从刚毕业那会儿进入一家大数据企业工作,再到某头部科技公司从事云计算产品设计,之后又在某 AI 独角兽开始接触高性能计算 (HPC)。> 回看过去的这些年,在我从行业小白到架构师的成长之路上,「云技术」... 大家把业务跑在服务器上面。但物理机就那么几个规格,有些业务可能只用到一半的资源,那能不能把空载的另一半也利用起来呢?虚拟化就让我们可以在一台物理机上跑很多虚机,虚机有不同的操作系统,它们之间互相隔离且彼...
或者开源社区不兼容等原因,变得不可用,这一下子让很多开发者变的束手无策起来。在 k8s 应用部署的大背景下,下面将围绕着“建设云原生的可观测性监控指标”的主题,一起探讨“架构和业务层面可以做的事情”,最终得... 后端指标监控/链路监控:后端比较关注1. 服务运营日志:中间件监控(Redis、Kafka 等)1. 云资源监控:数据库、云硬盘、服务器资源、CPU、带宽 IO 等。 其实开源社区有非常多的组件支持,让数据库、中间件直...
是一个开源的容器编排平台,用于自动化部署、扩展和管理容器化应用程序。它提供了一个强大的容器编排和管理系统,可以简化应用程序的部署、扩展和管理过程。Kubernetes 最初由 Google 开发,并于 2014 年开源。它基于 Google 内部的 Borg 系统的经验和技术,并吸收了社区的贡献和反馈,逐渐成为容器编排领域的事实标准。Kubernetes 的架构是高度可扩展化的,它由一组核心组件和插件组成。开发者可以通过插件机制扩展和增强 Kuberne...
[picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/bdf0c3a6caf14a78916519788bee5a22~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1714062017&x-signature=%2FJHznGoS%2F4BjFQmUdzGIZaPPvWk%3D)来源|字节跳动 Web Infra - Web Solutions 团队 感谢字节跳动开源法务 @孙振华 提供的专业指导和修改意见。 本文仅供开发者探讨,不构成任何法律意见。如有需求请咨询公...
数万台服务器规模、EB 级数据稳定存储的企业服务经验。 这个三月,字节跳动火山引擎开发者社区将举办第一期线上 Meetup。我们邀请到了火山引擎的一线研发工程师,向开发者社区展示字节跳动背后的云原生基础设施及实践经验。 活动日程活动时间:2021.3.27(周六) 活动形式:线上直播 时间 议题 演讲人 13:50-14:00 直播暖场+主持人开场 14:00-14:30 《云原生架构下负载均衡和网关应用实践》 王师 火山引擎云原生研发工程师 14:30-...
# 引言本文回顾了我参与 KubeAdmiral 开源项目的机缘巧合、实现方案,以及所获得的感悟。一方面,这是对我的经历的记录;另一方面,我希望这些分享能对开源新人,对 KubeAdmiral 项目感兴趣的新入门者有所帮助。# 自... 提供更灵活的调度框架,支持丰富的调度分发策略。- 差异化策略。- 依赖调度/跟随调度。- 提供状态收集的框架,提供更灵活的状态收集。- 大规模实践下的功能和稳定性增强。# 提供代理 API 供用户访...
是一个开源的容器编排平台,用于自动化部署、扩展和管理容器化应用程序。它提供了一个强大的容器编排和管理系统,可以简化应用程序的部署、扩展和管理过程。Kubernetes 最初由 Google 开发,并于 2014 年开源。它基于 Google 内部的 Borg 系统的经验和技术,并吸收了社区的贡献和反馈,逐渐成为容器编排领域的事实标准。Kubernetes 的架构是高度可扩展化的,它由一组核心组件和插件组成。开发者可以通过插件机制扩展和增强 Kuberne...
[image.png](https://p1-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/73e14b852379457d8b1daed0fb9568dc~tplv-k3u1fbpfcp-5.jpeg?)## 云服务资源**阿里云服务器概览** ![image.png](https://p3-juejin.byteimg.c... **描述:后端主要做的是业务逻辑,产品功能等模块,对于用户不可见,而** **更多的是与数据库进行交互以处理相应过程,功能实现、数据的存取、平台的稳定可用性以及性能。**```开发:IntelliJ IDEA运行:nohup后台运行...
****●** ByConity** 是由字节开源的云原生数仓,采用了存储计算分离的架构,实现租户资源隔离、弹性扩缩容,并具有数据读写的强一致性等特性,它支持主流的OLAP引擎优化技术,读写性能非常优异。 本文将... **服务器配置:** ``` Architecture: x86_64 CPU op-mode(s): 32-bit, 64-bit Byte Order: Little Endian CPU(s): ...
在开源版本中,每台服务器支持的Kafka Consumer数量有限,在每日百万级消息体量下,经常有长延时等问题,影响用户体验。在2020年底,我们针对Atlas的消息消费部分做了重构,将消息的消费和处理从后端服务中剥离出来,并... 我们决定投入人力自研一个消息处理框架。当前这个框架很好的支持了字节内部以及ToB场景中Data Catalog对于消息消费和处理的场景。本文会详细介绍框架解决的问题,整体的设计,以及实现中的关键决定。## 需求定义...
难免遇到本地环境和服务器环境不一样的问题- 部署流程没有自动化,需要运维人员去部署到服务器- 没有代码和依赖库安全检查、分析在项目的开发、部署过程中,也出现过好多次因为环境不一致的问题导致部署不成功,延... 工具选择上我们优先开源、免费的工具,以最小的开销实现目标。## 最终流程下图为我们最终的流程图:![picture.image](https://p6-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/0b68156e3a5947df9b139...
最近参加了字节跳动 Kubewharf 社区的开源项目,为其云原生混部系统 Katalyst 贡献代码,使 Katalyst 能够支持 NUMA 级别的 Pod 间亲和性调度,两个月来利用空余时间完成了这一调度策略的代码实现,并且在机器上通过了... 在分布式深度学习训练架构 PS-Worker 中,worker 作为高内存带宽消耗业务,会影响同一 NUMA 节点上的参数服务器(PS),因此将这些 pod 分配给不同的 NUMA 节点可以减轻这种干扰。### 2.技术方案设计首先,所有的 Po...
这方面的例子包括网络服务器阵列,多主机数据存储,如Cassandra集群,以及几乎所有的负载平衡和多主机。### 2.2 现代设计(Modern Design)你会如何设计一个云原生应用程序?你的架构会是什么样子的?你会遵守哪些原则... 12因素是一系列云原生应用架构的模式集合。这些模式可以用来说明什么样的应用才是云原生应用,可以用来衡量一个后端服务是否适合上云。>本节的反例并不是指技术本身不够好,而是指它们的一些原生特性对于开发复杂的...