伴随云原生技术的成熟与落地,越来越多框架、中间件等开源项目相继涌现,帮助开发者和企业有效解决业务问题。**2022 年 1 月 8 日**,火山引擎开发者社区携手字节跳动基础架构和 CSDN,将在 **北京** 举办一场线下... 落地实践和开源经验。**议题三:解构 Apache/Dubbo-go**讲师:于雨GitHub ID:AlexStocks。从业十余年来一直在服务端基础架构研发一线,陆续参与和改进过 Redis/Pika/Muduo/dubbo/dubbo-go/Sentinel-gola...
**正式开源 Cloud Shuffle Service。**Cloud Shuffle Service(以下简称CSS) 是字节自研的通用 Remote Shuffle Service 框架,支持 Spark/FlinkBatch/MapReduce 等计算引擎,提供了相比原生方案**稳定性更好、性... 无法存算分离的架构,在在离线混部(在线资源磁盘不足)/Serverless 云原生等场景下,也很难满足要求。**字节跳动使用 Spark 作为主要的离线大数据处理引擎,每天线上运行作业数过百万,日均 Shuffle 量 300+PB。**在...
Kite 是一个基于 Apache Thrift 进行包装的 RPC 框架,它在 Facebook 开源的 Thrift 之上提供了结合字节跳动内部基础设施的治理功能,同时还提供了一套简单易用的生成工具。随着 Kite 的发展,业务开始大规模使用 Gol... Kite 的生成代码逻辑与框架接口强耦合,成为了性能优化的天花板。因此,业务的快速发展和需求场景的多样化,催生了新一代 Golang RPC 框架 Kitex。 Kitex Kitex 的架构主...
CloudWeGo 开源社区重磅,由 **字节跳动服务框架团队** 联合 **CloudWeGo 开源社区** 出品的 《CloudWeGo 技术白皮书: 字节跳动云原生微服务架构原理与开源实践 》现已正式对外发布!本书总结了字节跳动自 201... 字节跳动服务框架团队开源了 **内外一体** 的微服务项目中间件合集 CloudWeGo。开源以后,已有超过 30 家企业用户在生产环境中落地,书中详细介绍了 **电商、AI、金融、游戏** 相关行业的落地案例,同时探讨了在降本...
今天,字节跳动宣布,**正式开源** **Cloud Shuffle Service** **。**Cloud Shuffle Service(以下简称CSS) 是字节自研的通用 Remote Shuffle Service 框架,支持 Spark/FlinkBatch/MapReduce 等计算引擎,提供了相比... 无法存算分离的架构,在在离线混部(在线资源磁盘不足)/Serverless 云原生等场景下,也很难满足要求。**字节跳动使用 Spark 作为主要的离线大数据处理引擎,每天线上运行作业数过百万,日均 Shuffle 量 300+PB。** 在...
我们决定尝试使用 Rust 来开发服务端微服务,以解决性能上的挑战。但是,纵观整个 Rust 社区,我们发现缺乏生产级别的 Async Thrift 实现,在服务治理和易用性方面也有所欠缺。因此,字节跳动开始自研 Rust RPC 框架和相关生态。到了 2021 年 9 月, **CloudWeGo** 的第一批微服务框架和组件——包括 Golang RPC 框架 **Kitex** 和网络库 **Netpoll** ——开源。随后,在 2022 年 6 月和 8 月,我们分别开源了 Golang HTTP 框架 *...
BMF(即开源项目名)是一个能解决此类问题的通用视频处理框架。它提供了模块化和流水线化的方法构建视频处理系统。开发者可以利用BMF内置或自定义的处理模块来搭建相关视频处理流程。这些模块可以按需集成并通过流水... 部署到生产服务器后,Topology配置参数无法加载问题。解决方法:检查配置文件路径是否正确,权限是否足够。同时也需要检查Topology配置是否符合要求。```sql```sql// Topology.json{ "topology": [ { ...
数万台服务器规模、EB 级数据稳定存储的企业服务经验。 这个三月,字节跳动火山引擎开发者社区将举办第一期线上 Meetup。我们邀请到了火山引擎的一线研发工程师,向开发者社区展示字节跳动背后的云原生基础设施及实践经验。 活动日程活动时间:2021.3.27(周六) 活动形式:线上直播 时间 议题 演讲人 13:50-14:00 直播暖场+主持人开场 14:00-14:30 《云原生架构下负载均衡和网关应用实践》 王师 火山引擎云原生研发工程师 14:30-...
MetaApp 是国内领先的游戏开发与运营商,专注移动端信息高效分发,致力于构建面向全年龄段的虚拟世界。截至 2023 年,MetaApp 注册用户已超 2 亿,联运合作 20 万款游戏,累计分发量过 10 亿。MetaApp 在 ByConity 开源早期便保持关注,是最早进行测试并在生产环境上线的用户之一。抱着了解开源数仓项目能力的想法,MetaApp 大数据研发团队对 ByConity 进行了初步测试。其存算分离的架构、优秀的性能,尤其在日志分析场景中,对于大规...
自研训练框架:目前除了业界开源的 Tensorflow、Pytorch,为了满足用户的各种需求,字节也在机器学习场景进行了深入探索,自研多个训练框架用于满足用户需求;2. 拥有底层资源调度系统 YARN 和 Kubernetes:目前阶段处... 分布式训练调度框架 Primus================Primus 是一个通用的分布式训练调度框架,管理了机器学习训练框架(如 Tensorflow、Pytorch)的生命周期和数据分发,帮助训练框架获得更好的分布式能力。### 架构介绍...
自研训练框架:目前除了业界开源的 Tensorflow、Pytorch,为了满足用户的各种需求,字节也在机器学习场景进行了深入探索,自研多个训练框架用于满足用户需求;2. 拥有底层资源调度系统 YARN 和 Kubernetes:目前阶段处... Primus 是一个通用的分布式训练调度框架,管理了机器学习训练框架(如 Tensorflow、Pytorch)的生命周期和数据分发,帮助训练框架获得更好的分布式能力。 **架构介绍**![picture.image](https://p6-vo...
开源框架自由搭配* 统合一致:兼容不同设备的开发框架达到的一致性开发体验其涵盖的内容:* Android Studio :持续改进的官方 IDE* Android App Bundle :先进的应用打包和分发方式* Kotlin :首推的编程语言* ... 天然支持后端开发* 通过 `Kotlin/JS` 编译成 `JavaScript`,支持前端开发* 和 Java 几乎同等的编译速度,增量编译下性能甚至超越 Java### 4.1 Kotlin 在 Android上优秀的编程体验 * Kotlin 代码简洁、可读性...
相当于百台CPU服务器的算力; 更快压缩:相比行业主流硬件编码器压缩效率提升30+%; 更低成本:将单个视频的计算、存储和传输的边际成本达到平衡。 火山引擎视频编解码芯片的应用场景非常广泛,包括点播转码、直播转码、云游戏、云VR/AR等。火山引擎视频编解码芯片可以在为企业节省大量算力成本的同时,为用户带来更清晰的画质和更低的延时。 多媒体处理框架 BMF,全面开源火山引擎携手英伟达发布多媒体处理框架 BMF ,旨在帮助企业和...