越来越多框架、中间件等开源项目相继涌现,帮助开发者和企业有效解决业务问题。**2022 年 1 月 8 日**,火山引擎开发者社区携手字节跳动基础架构和 CSDN,将在 **北京** 举办一场线下 Meetup。在这里,您可以与众... 落地实践和开源经验。**议题三:解构 Apache/Dubbo-go**讲师:于雨GitHub ID:AlexStocks。从业十余年来一直在服务端基础架构研发一线,陆续参与和改进过 Redis/Pika/Muduo/dubbo/dubbo-go/Sentinel-gola...
**正式开源 Cloud Shuffle Service。**Cloud Shuffle Service(以下简称CSS) 是字节自研的通用 Remote Shuffle Service 框架,支持 Spark/FlinkBatch/MapReduce 等计算引擎,提供了相比原生方案**稳定性更好、性... 无法存算分离的架构,在在离线混部(在线资源磁盘不足)/Serverless 云原生等场景下,也很难满足要求。**字节跳动使用 Spark 作为主要的离线大数据处理引擎,每天线上运行作业数过百万,日均 Shuffle 量 300+PB。**在...
CloudWeGo 开源社区重磅,由 **字节跳动服务框架团队** 联合 **CloudWeGo 开源社区** 出品的 《CloudWeGo 技术白皮书: 字节跳动云原生微服务架构原理与开源实践 》现已正式对外发布!本书总结了字节跳动自 201... 字节跳动服务框架团队开源了 **内外一体** 的微服务项目中间件合集 CloudWeGo。开源以后,已有超过 30 家企业用户在生产环境中落地,书中详细介绍了 **电商、AI、金融、游戏** 相关行业的落地案例,同时探讨了在降本...
Kite 是一个基于 Apache Thrift 进行包装的 RPC 框架,它在 Facebook 开源的 Thrift 之上提供了结合字节跳动内部基础设施的治理功能,同时还提供了一套简单易用的生成工具。随着 Kite 的发展,业务开始大规模使用 Gol... Kite 作为字节跳动第一代 Golang RPC 框架,主要存在以下缺陷: 1. Kite 为了快速支持业务发展需求,不可避免地耦合了部分中台业务的功能;2. Kite 对 Go modules 支持不友好(Go modules 在 2019 年才进入语言核...
CloudWeGo 开源两年多以来,社区发展迅速,生态日益丰富,落地企业用户已超过 **40** 家,涵盖 **AI、电商、金融、游戏** 等多个行业。同时,随着云原生技术和 AI 技术的持续蓬勃发展,我们发现企业用户也面临着越来越多性能、成本和稳定性方面的挑战,系统需要支持弹性伸缩和潮汐流量下的稳定性,因而也越发需要一套高性能、易扩展、功能丰富的微服务架构。 诚挚邀请社区用户和开发者共同参与 CloudWeGo 技术沙龙。活...
今天,字节跳动宣布,**正式开源** **Cloud Shuffle Service** **。**Cloud Shuffle Service(以下简称CSS) 是字节自研的通用 Remote Shuffle Service 框架,支持 Spark/FlinkBatch/MapReduce 等计算引擎,提供了相比... 无法存算分离的架构,在在离线混部(在线资源磁盘不足)/Serverless 云原生等场景下,也很难满足要求。**字节跳动使用 Spark 作为主要的离线大数据处理引擎,每天线上运行作业数过百万,日均 Shuffle 量 300+PB。** 在...
自研训练框架:目前除了业界开源的 Tensorflow、Pytorch,为了满足用户的各种需求,字节也在机器学习场景进行了深入探索,自研多个训练框架用于满足用户需求;2. 拥有底层资源调度系统 YARN 和 Kubernetes:目前阶段处... 分布式训练调度框架 Primus================Primus 是一个通用的分布式训练调度框架,管理了机器学习训练框架(如 Tensorflow、Pytorch)的生命周期和数据分发,帮助训练框架获得更好的分布式能力。### 架构介绍...
BMF(即开源项目名)是一个能解决此类问题的通用视频处理框架。它提供了模块化和流水线化的方法构建视频处理系统。开发者可以利用BMF内置或自定义的处理模块来搭建相关视频处理流程。这些模块可以按需集成并通过流水... 部署到生产服务器后,Topology配置参数无法加载问题。解决方法:检查配置文件路径是否正确,权限是否足够。同时也需要检查Topology配置是否符合要求。```sql```sql// Topology.json{ "topology": [ { ...
自研训练框架:目前除了业界开源的 Tensorflow、Pytorch,为了满足用户的各种需求,字节也在机器学习场景进行了深入探索,自研多个训练框架用于满足用户需求;2. 拥有底层资源调度系统 YARN 和 Kubernetes:目前阶段处... Primus 是一个通用的分布式训练调度框架,管理了机器学习训练框架(如 Tensorflow、Pytorch)的生命周期和数据分发,帮助训练框架获得更好的分布式能力。 **架构介绍**![picture.image](https://p3-vo...
自年初成立开源委员会以来,字节跳动开源动作频频。公开信息显示,字节跳动近五个月新开源了不少项目,包括 Shuffle 框架 Cloud Shuffle Service、基于 Rust 的 RPC 框架 Volo 等。 10 月 ... 终极目标是用一套统一的技术架构覆盖数据集成场景内的所有需求。回顾这套自研的数据集成引擎在字节内部的演进历程,大致可以分为三个阶段。![picture.image](https://p6-volc-community-sign.byteimg.com/to...
一边在开源中主动寻求突破的一段记录。**01 代码要写,业务也要拉** 2019 年,随着抖音的爆发,字节跳动站在了高速增长的起点,直播、短视频,广告等业务也都乘势而起。这些业务,都需要流式计... 担任流式计算架构师。为了支撑线上业务,方勇和团队要尽快把这块的能力给补齐。“整个开发过程非常煎熬,压力非常大。”方勇说:”ByteHTAP 已经提供了线上服务,我们需要快速迭代,使 Flink 支持更高的并发查询。...
无服务器功能和不可变基础设施等技术是这种架构风格的常见元素。字节跳动在云原生离线训练方向的发展大概分为三个阶段:**单角色云原生训练 1.0,多角色云原生训练 2.0,云原生训练 3.0 三个阶段。****单角... 离线训练框架 1.0 于 2019 年进行了系统级重构,新一代离线训练框架 2.0 增加了“多角色弹性调度”“多角色 Failover 能力”“训练进度增量 Checkpoint ”等功能,提供“灵活”“高效”“易用”的模型训练能力。...
> **前言:** 从刚毕业那会儿进入一家大数据企业工作,再到某头部科技公司从事云计算产品设计,之后又在某 AI 独角兽开始接触高性能计算 (HPC)。> 回看过去的这些年,在我从行业小白到架构师的成长之路上,「云技术」... 大家把业务跑在服务器上面。但物理机就那么几个规格,有些业务可能只用到一半的资源,那能不能把空载的另一半也利用起来呢?虚拟化就让我们可以在一台物理机上跑很多虚机,虚机有不同的操作系统,它们之间互相隔离且彼...