越来越多框架、中间件等开源项目相继涌现,帮助开发者和企业有效解决业务问题。**2022 年 1 月 8 日**,火山引擎开发者社区携手字节跳动基础架构和 CSDN,将在 **北京** 举办一场线下 Meetup。在这里,您可以与众... 落地实践和开源经验。**议题三:解构 Apache/Dubbo-go**讲师:于雨GitHub ID:AlexStocks。从业十余年来一直在服务端基础架构研发一线,陆续参与和改进过 Redis/Pika/Muduo/dubbo/dubbo-go/Sentinel-gola...
**正式开源 Cloud Shuffle Service。**Cloud Shuffle Service(以下简称CSS) 是字节自研的通用 Remote Shuffle Service 框架,支持 Spark/FlinkBatch/MapReduce 等计算引擎,提供了相比原生方案**稳定性更好、性... 无法存算分离的架构,在在离线混部(在线资源磁盘不足)/Serverless 云原生等场景下,也很难满足要求。**字节跳动使用 Spark 作为主要的离线大数据处理引擎,每天线上运行作业数过百万,日均 Shuffle 量 300+PB。**在...
CloudWeGo 开源两年多以来,社区发展迅速,生态日益丰富,落地企业用户已超过 **40** 家,涵盖 **AI、电商、金融、游戏** 等多个行业。同时,随着云原生技术和 AI 技术的持续蓬勃发展,我们发现企业用户也面临着越来越多性能、成本和稳定性方面的挑战,系统需要支持弹性伸缩和潮汐流量下的稳定性,因而也越发需要一套高性能、易扩展、功能丰富的微服务架构。 诚挚邀请社区用户和开发者共同参与 CloudWeGo 技术沙龙。活...
CloudWeGo 开源社区重磅,由 **字节跳动服务框架团队** 联合 **CloudWeGo 开源社区** 出品的 《CloudWeGo 技术白皮书: 字节跳动云原生微服务架构原理与开源实践 》现已正式对外发布!本书总结了字节跳动自 201... 字节跳动服务框架团队开源了 **内外一体** 的微服务项目中间件合集 CloudWeGo。开源以后,已有超过 30 家企业用户在生产环境中落地,书中详细介绍了 **电商、AI、金融、游戏** 相关行业的落地案例,同时探讨了在降本...
技术团队基于 Golang 打造了一个名为 Kite 的 RPC 框架,并对开源项目 Gin 进行了轻量级封装,推出了 Ginex。随着这两个框架的发布,Golang 在字节跳动内部的应用迅猛增长。由于 Kite 与 Thrift 深度耦合,很难从网... 我们决定尝试使用 Rust 来开发服务端微服务,以解决性能上的挑战。但是,纵观整个 Rust 社区,我们发现缺乏生产级别的 Async Thrift 实现,在服务治理和易用性方面也有所欠缺。因此,字节跳动开始自研 Rust RPC 框架和相...
今天,字节跳动宣布,**正式开源** **Cloud Shuffle Service** **。**Cloud Shuffle Service(以下简称CSS) 是字节自研的通用 Remote Shuffle Service 框架,支持 Spark/FlinkBatch/MapReduce 等计算引擎,提供了相比... 无法存算分离的架构,在在离线混部(在线资源磁盘不足)/Serverless 云原生等场景下,也很难满足要求。**字节跳动使用 Spark 作为主要的离线大数据处理引擎,每天线上运行作业数过百万,日均 Shuffle 量 300+PB。** 在...
BMF(即开源项目名)是一个能解决此类问题的通用视频处理框架。它提供了模块化和流水线化的方法构建视频处理系统。开发者可以利用BMF内置或自定义的处理模块来搭建相关视频处理流程。这些模块可以按需集成并通过流水... 部署到生产服务器后,Topology配置参数无法加载问题。解决方法:检查配置文件路径是否正确,权限是否足够。同时也需要检查Topology配置是否符合要求。```sql```sql// Topology.json{ "topology": [ { ...
相当于百台CPU服务器的算力; 更快压缩:相比行业主流硬件编码器压缩效率提升30+%; 更低成本:将单个视频的计算、存储和传输的边际成本达到平衡。 火山引擎视频编解码芯片的应用场景非常广泛,包括点播转码、直播转码、云游戏、云VR/AR等。火山引擎视频编解码芯片可以在为企业节省大量算力成本的同时,为用户带来更清晰的画质和更低的延时。 多媒体处理框架 BMF,全面开源火山引擎携手英伟达发布多媒体处理框架 BMF ,旨在帮助企业和...
文章来源|ByConity 开源社区GitHub|github.com/ByConity/ByConity/releases 各位的社区小伙伴们大家好,我们很高兴的宣布,ByConity 0.2.0 版本正式发布了,这个版本提供多项有用的新特性,同时修复了若干已... 由于 ByConity 的存算分离架构,对远端存储的冷读相比本地磁盘有一定的性能差距,因此在 0.2.0 版本专门针对冷读进行了性能优化,主要手段有: **IOScheduler**为了减少单个请求端到端的耗时,提升节点的吞吐,同...
自研训练框架:目前除了业界开源的 Tensorflow、Pytorch,为了满足用户的各种需求,字节也在机器学习场景进行了深入探索,自研多个训练框架用于满足用户需求;2. 拥有底层资源调度系统 YARN 和 Kubernetes:目前阶段处... 分布式训练调度框架 Primus================Primus 是一个通用的分布式训练调度框架,管理了机器学习训练框架(如 Tensorflow、Pytorch)的生命周期和数据分发,帮助训练框架获得更好的分布式能力。### 架构介绍...
自研训练框架:目前除了业界开源的 Tensorflow、Pytorch,为了满足用户的各种需求,字节也在机器学习场景进行了深入探索,自研多个训练框架用于满足用户需求;2. 拥有底层资源调度系统 YARN 和 Kubernetes:目前阶段处... Primus 是一个通用的分布式训练调度框架,管理了机器学习训练框架(如 Tensorflow、Pytorch)的生命周期和数据分发,帮助训练框架获得更好的分布式能力。 **架构介绍**![picture.image](https://p3-vo...
[picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/bdf0c3a6caf14a78916519788bee5a22~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1715185237&x-signature=tkSZ7La4RyUblvqB8FBZlVf8gd0%3D)来源|字节跳动 Web Infra - Web Solutions 团队 感谢字节跳动开源法务 @孙振华 提供的专业指导和修改意见。 本文仅供开发者探讨,不构成任何法律意见。如有需求请咨询公司法...
MetaApp 是国内领先的游戏开发与运营商,专注移动端信息高效分发,致力于构建面向全年龄段的虚拟世界。截至 2023 年,MetaApp 注册用户已超 2 亿,联运合作 20 万款游戏,累计分发量过 10 亿。MetaApp 在 ByConity 开源早期便保持关注,是最早进行测试并在生产环境上线的用户之一。抱着了解开源数仓项目能力的想法,MetaApp 大数据研发团队对 ByConity 进行了初步测试。其存算分离的架构、优秀的性能,尤其在日志分析场景中,对于大规...