GitLink 确实开源编程夏令营 (GLCC) 是在 CCF 中国计算机学会指导下,由 CCF 开源发展委员会(CCF ODC)举办的面向全国高校学生的暑期编程活动。活动将覆盖近千所高校,并联合各大开源基金会、开源企业、开源社区和开源... 目前存在大部分 Server 和 Client 的代码生成工作可以做到自动化,平台化、并且通过代码统一托管的方式来提升用户体验。课题详情:https://www.gitlink.org.cn/glcc/2023/subjects/detail/698 **KubeAdmiral*...
体验开源社区的运作方式,提升个人能力。在今年举办的 [GLCC 编程夏令营](https://mp.weixin.qq.com/s?__biz=MzkyMTQyNzI4OQ==&mid=2247484499&idx=1&sn=bda464fcef51651bba313f88d2994bf0&scene=21#wechat_redirect)中, Katalyst 发布的相关议题吸引了不少高校同学报名参与,项目过程中导师和项目同学积极沟通可行性方案,帮助同学参与项目开发。为了延续字节跳动开源与高校的合作,鼓励更多对云原生感兴趣的高校学生参与到...
为了鼓励更多对云原生感兴趣的高校学生参与到社区,也希望社区有更多的外部声音和新鲜力量,我们计划将此与高校同学协作的开发模式在项目版本迭代过程中进行复用,为高校同学提供参与开源社区的路径与指导,同时帮助社... such as parameter servers. Allocating these pods to different NUMA nodes can mitigate such interferences.目前,Kubernetes 在节点级别支持 pod 间亲和性和反亲和性。然而,将这种支持扩展到 NUMA 级别的需...
Spring Cloud 有 Config Server(类似的有阿里开源的 Nacos、携程开源的 Apollo),Kubernetes 则有 ConfigMap、Secret 等,它本身也有配置能力,但是比较弱。Kubernetes 的优势在于它的组件和整个系统之间的交融度比较... 就可以通过 DNS 以及服务端负载均衡帮助导流。这样的体验是截然不同的。Spring Cloud 这套体系如果是 Eureka Client,永远是要嵌入业务内部的,因为在启动的那一刻才知道应用在哪里,通过 Utils 组件去获取当前的 I...
我们决定尝试使用 Rust 来开发服务端微服务,以解决性能上的挑战。但是,纵观整个 Rust 社区,我们发现缺乏生产级别的 Async Thrift 实现,在服务治理和易用性方面也有所欠缺。因此,字节跳动开始自研 Rust RPC 框架和相关生态。到了 2021 年 9 月, **CloudWeGo** 的第一批微服务框架和组件——包括 Golang RPC 框架 **Kitex** 和网络库 **Netpoll** ——开源。随后,在 2022 年 6 月和 8 月,我们分别开源了 Golang HTTP 框架 *...
Spring Cloud 有 **Config Server** (类似的有阿里开源的 Nacos、携程开源的 Apollo),Kubernetes 则有 **ConfigMap** 、 **Secret** 等,它本身也有配置能力,但是比较弱。Kubernetes 的优势在于它的组件和整个系... 就可以通过 DNS 以及服务端负载均衡帮助导流。这样的体验是截然不同的。Spring Cloud 这套体系如果是 Eureka Client,永远是要嵌入业务内部的,因为在启动的那一刻才知道应用在哪里,通过 Utils 组件去获取当前的 ...
更弹性的数据 Shuffle 能力,同时也为存算分离/在离线混部等场景提供了 Remote Shuffle 解决方案。今天,字节跳动宣布,**正式开源 Cloud Shuffle Service。**Cloud Shuffle Service(以下简称CSS) 是... /Serverless 云原生等场景下,也很难满足要求。**字节跳动使用 Spark 作为主要的离线大数据处理引擎,每天线上运行作业数过百万,日均 Shuffle 量 300+PB。**在 HDFS 混部&在离线混部等场景,Spark 作业的稳定性经...
会给历史服务器带来沉重的负担。接下来,火山引擎 LAS 团队将向大家详细介绍字节跳动内部是怎么基于 UIMeta 实现海量数据业务的平稳和高效运转,让技术驱动业务不断发展。# **1. 业务背景**## 1.1 开源 Spark History Server 架构为了能够更好理解本次重构的背景和意义,首先对原生 Spark History Server 原理做个简单的介绍。![picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/13f1f0e811...
默认服务。业务背景 **开源 Spark History Server 架构**为了能够更好理解本次重构的背景和意义,首先对原生 Spark History Server 原理做个简单的介绍。![picture.imag... 不需要随着任务数量增加提高服务器配置,方便了水平扩展。**优化**1. **避免重复写** 由于每个 stage 完成都会触发写 UIMeta 文件,这样对于 UIMeta 的很多元素,可能会出现重复持久化的情况,增加写入耗时...
今天,字节跳动宣布,**正式开源** **Cloud Shuffle Service** **。**Cloud Shuffle Service(以下简称CSS) 是字节自研的通用 Remote Shuffle Service 框架,支持 Spark/FlinkBatch/MapReduce 等计算引擎,提供了相比... /Serverless 云原生等场景下,也很难满足要求。**字节跳动使用 Spark 作为主要的离线大数据处理引擎,每天线上运行作业数过百万,日均 Shuffle 量 300+PB。** 在 HDFS 混部&在离线混部等场景,Spark 作业的稳定性经常...
分享参与开源贡献的经验与收获。![picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/87b448209c8c4bd186c767d82657617f~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expi... 主要负责 Serverless Flink 等方向研发;闵中元,于 2021 年加入字节跳动,就职于基础架构开放平台团队,主要负责 Serverless Flink ,Flink OLAP 等方向研发。 **专题:人工智能/机器学习** ...
火山引擎汇集了字节跳动服务数亿用户的大数据、人工智能和基础服务等能力:对内拥有支撑今日头条、抖音、西瓜视频等业务应用的技术能力;对外拥有数十万容器集群规模、数万台服务器规模、EB 级数据稳定存储的企业服务... 火山引擎研发工程师 Redis 是广泛使用的开源、高性能 Key-Value 数据库,提供了丰富的数据结构;Kubernetes 是自动部署、扩展和管理容器化应用程序的系统。随着 Kubernetes 技术的推广和普及,越来越多的服务开始基于...
内部部署的容器单集群已经达到了上万个节点。时至今日,字节跳动实现云原生化的应用比例已超过 95%,我们计划和开源社区合作,逐步开放规模化云原生落地的工具和最佳实践。”字节跳动宣布正式开源 KubeWharf 项目。... kube-apiserver 七层网关 KubeGateway- 轻量级多租户方案 KubeZoo... ... 等等2023 年 9 月 26 日至 9 月 28 日,KubeCon + CloudNativeCon + Open Source Summit(峰会) China 2023 时隔四年也在上海线下...