越来越多框架、中间件等开源项目相继涌现,帮助开发者和企业有效解决业务问题。**2022 年 1 月 8 日**,火山引擎开发者社区携手字节跳动基础架构和 CSDN,将在 **北京** 举办一场线下 Meetup。在这里,您可以与众... 落地实践和开源经验。**议题三:解构 Apache/Dubbo-go**讲师:于雨GitHub ID:AlexStocks。从业十余年来一直在服务端基础架构研发一线,陆续参与和改进过 Redis/Pika/Muduo/dubbo/dubbo-go/Sentinel-gola...
**正式开源 Cloud Shuffle Service。**Cloud Shuffle Service(以下简称CSS) 是字节自研的通用 Remote Shuffle Service 框架,支持 Spark/FlinkBatch/MapReduce 等计算引擎,提供了相比原生方案**稳定性更好、性能更高、更弹性**的数据 Shuffle 能力,同时也**为存算分离/在离线混部等场景**提供了 Remote Shuffle 解决方案。目前,CSS 已在 Github 上开源,欢迎感兴趣的同学一起参与共建!**项目地址:**https:/...
如果每个任务独立开发,不仅造成重复开发,且难以协调各个子任务。BMF(即开源项目名)是一个能解决此类问题的通用视频处理框架。它提供了模块化和流水线化的方法构建视频处理系统。开发者可以利用BMF内置或自定义的处... 部署到生产服务器后,Topology配置参数无法加载问题。解决方法:检查配置文件路径是否正确,权限是否足够。同时也需要检查Topology配置是否符合要求。```sql```sql// Topology.json{ "topology": [ { ...
CloudWeGo 开源社区重磅,由 **字节跳动服务框架团队** 联合 **CloudWeGo 开源社区** 出品的 《CloudWeGo 技术白皮书: 字节跳动云原生微服务架构原理与开源实践 》现已正式对外发布!本书总结了字节跳动自 2018 年以来的微服务架构演进之路,讲述了字节微服务架构的难点、编程语言的选择和开发框架的演进,以及流量激增后的流量治理模式和服务网格全面落地。在认识到大量的企业用户在微服务架构设计和编程语言转型过程中存在...
CloudWeGo 开源两年多以来,社区发展迅速,生态日益丰富,落地企业用户已超过 **40** 家,涵盖 **AI、电商、金融、游戏** 等多个行业。同时,随着云原生技术和 AI 技术的持续蓬勃发展,我们发现企业用户也面临着越来... 诚挚邀请社区用户和开发者共同参与 CloudWeGo 技术沙龙。活动将于 **2024年3月30日(周六)在北京举办** ,邀请广大技术同仁共同探讨 **在 云原生xAI 浪潮之下,企业如何构建云原生微服务架构** ,来支持产品的快速迭...
CloudWeGo 开源社区2014 年,为了应对长连接推送业务中的 **高并发** 挑战,字节跳动引入了 Golang。由于其出色的性能,Golang 很快成为解决核心问题的利器。仅两年后,技术团队基于 Golang 打造了一个名为 Kite ... 我们决定尝试使用 Rust 来开发服务端微服务,以解决性能上的挑战。但是,纵观整个 Rust 社区,我们发现缺乏生产级别的 Async Thrift 实现,在服务治理和易用性方面也有所欠缺。因此,字节跳动开始自研 Rust RPC 框架和相...
自研训练框架:目前除了业界开源的 Tensorflow、Pytorch,为了满足用户的各种需求,字节也在机器学习场景进行了深入探索,自研多个训练框架用于满足用户需求;2. 拥有底层资源调度系统 YARN 和 Kubernetes:目前阶段处... Primus 目前与字节内部训练框架集成较多,Tensorflow 和 Pytorch 可以使用 Primus 的基本能力,后续将开发 Tensorflow 和 Pytorch 适配 Primus API 实现更深度的集成,赋能开源训练框架。目前,Primus 已在 Github...
自研训练框架:目前除了业界开源的 Tensorflow、Pytorch,为了满足用户的各种需求,字节也在机器学习场景进行了深入探索,自研多个训练框架用于满足用户需求;2. 拥有底层资源调度系统 YARN 和 Kubernetes:目前阶段处... Primus 目前与字节内部训练框架集成较多,Tensorflow 和 Pytorch 可以使用 Primus 的基本能力,后续将开发 Tensorflow 和 Pytorch 适配 Primus API 实现更深度的集成,赋能开源训练框架。 目前,Primus 已...
Drupal是使用PHP语言编写的开源内容管理框架,由内容管理系统和PHP开发框架共同构成。Drupal综合了强大并可自由配置的功能,支持从个人博客到大型社区驱动的网站等各种不同应用的网站项目。 本文介绍如何在Linux操作系统中,搭建用于生产环境的Drupal网站。 软件版本操作系统:本文以CentOS 7.6为例。 Apache:性能稳定的Web网页服务器,本文以Apache 2.4.6为例。 MySQL/MariaDB:数据库管理系统,本文以MySQL 14.14为例。 PHP:在服务器端...
本文介绍文档数据库 MongoDB 版常见的应用场景。 游戏服务行业游戏行业特点是用户量增长快,有出海需求,且经常需要进行开服、分服、合服等操作。文档数据库 MongoDB 版提供的多种功能特性正好可以方便、快速地满足游戏开服、分服、合服等场景需求。例如,基于 JSON 文档数据对象模型可以快速支持开发迭代,快速创建实例并导入数据支持游戏上线运行。此外,您可以将文档数据库 MongoDB 版当作缓存服务器使用,合理规划热数据。MongoDB ...
对性能和开发效率都有很高要求。当时的业务,大部分都是由 Python 开发,难以应对新出现的问题。项目负责人在一众现存的技术栈中选择了 Golang 这一门新兴的编程语言,快速解决了性能和开发效率的问题。随后,字节跳动内部开始逐渐推广使用 Golang 进行服务开发。 2016 年, 第一代 Golang RPC 框架 Kite 正式发布。Kite 是一个基于 Apache Thrift 进行包装的 RPC 框架,它在 Facebook 开源的 Thrift 之上提供了结合字节跳动内部...
Apache Flink 是一个可分布式的开源计算框架,能够支持数据流处理和批量数据处理两种应用类型。本文介绍下在 Flink 中操作 Iceberg 表。 1 前提条件 E-MapReduce(EMR)1.4.0版本之后的版本(包括1.4.0版本)支持在 Fli... 跳转进入到云服务器的实例界面,点击右上角的 远程连接 按钮,输入集群创建时的root密码,进入远程终端。 在 /usr/lib/emr/current/flink/conf/flink-conf.yaml 文件的 checkpoint参数下,添加如下配置: yaml execut...
Spark 是专为大规模数据分析处理而设计的开源分布式计算框架。本文介绍如何配置 EMR 中的 Spark 服务使用 CloudFS。 前提条件开通大数据文件存储服务并创建文件存储实例,获取挂载点信息。具体操作,请参见开通大数据... 使用同区域下的云服务器实例连接集群节点管理 master 的内网 ip。 下载 CloudFS 的 SDK 包至 E-MapReduce 集群指定存储位置。下载地址:inf.hdfs.cfs_sdk_deploy_1.4.1.tar.gz 解压后将 SDK 目录下的cloudfs-had...