字节跳动的优化实践。## External Shuffle Service首先来看,在 Spark 3.0 及最新的 Spark 3.3 中,External Shuffle Service(以下简称 ESS)是如何完成 Shuffle 任务的?如下图,每一个 Map Task,从 Mapper 1 到... ## Spark 在字节跳动的应用在字节跳动内部,Spark 作业规模较大:- 日均 100 万左右个作业 - 日均 300 PB Shuffle 数据 - 大量作业签署 SLA,对稳定性要求非常高,超时严重还会严重影响下游 - 大量 HDD 机...
应用规模和数据规模,如何在数据库领域进行数据管理和数据治理,成了摆在数据库团队面前的巨大难题。而在字节跳动内部,数据库建设主要面临三大挑战:**业务种类繁多。** 以抖音为例,为了管理用户之间复杂的社交关系... 字节跳动数据库经历了以下三个阶段:**2015 - 2017 年:刀耕火种的石器时代。** 在这一阶段,字节跳动的业务量级比较小,主要的 App 是今日头条,因此数据库的实例大概在 1~2k 量级,产品主要以开源的 MySQL 和 MyRock...
MARS-APM 全链路版是字节跳动旗下的企业级技术服务平台,为企业提供针对应用服务的品质、性能以及自定义埋点的 APM 服务。基于海量数据的聚合分析,平台可帮助客户发现多类异常问题,并及时报警,做分配处理,同时平... app_id: {{你的appid}}, serverDomain: {{私有化部署服务器地址}},})```或者通过一段 JavaScript 脚本,直接通过 CDN 接入:``` ```**更丰富的异常现场还原能力** MARS-APM 全链路版不仅帮助您无死角...
> 更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群本文作者为火山引擎A/B测试团队资深研发工程师,内容主要介绍A/B实验在推荐系统中的应用,并介绍了在实践中总结的几点经验,希望对做信息流推荐、电商推荐、广告推荐等方向的同学有所启发。 1. # 什么是A/B实验?AB实验,也被称为A/B测试,是一种统计学方法,通过对比两个或多个版本的事物,以确定哪个版本对目标的影响更大,目前在各大...
应用规模和数据规模,如何在数据库领域进行数据管理和数据治理,成了摆在数据库团队面前的巨大难题。而在字节跳动内部,数据库建设主要面临三大挑战:**业务种类繁多**。以抖音为例,为了管理用户之间复杂的社交关系... 字节跳动的业务量级比较小,主要的 App 是今日头条,因此数据库的实例大概在 1~2k 量级,产品主要以开源的 MySQL 和 MyRocks 为主,运维体系主要是依靠人工和脚本。**2018 - 2021 年****:标准化、系统化。**随着抖...
并结合字节跳动应用安全积累了丰富的实战经验。生产环境常见的各类威胁 在刚刚结束的2022 CCS 成都网络安全大会上,来自火山引擎的信息安全工程师潘玺廷,进行《字节跳动应用运行时如何防护》的主题分享。 生产环境主机威胁生产环境攻击来源可以归类为外部、内部和供应链。对于一台主机,这三种攻击来源会实施在不同的作用域:对于 Linux 内核与用户态会有常见的恶意软件或是 Linux 漏洞风险,对于容器层会有更难以约束的镜像问题或是...
私域运营以及产品优化三个场景帮助企业应用AB测试实现用户体验的提升。下面从四个案例分享字节跳动在产品优化过程中对AB测试的应用。- **抖音-熟人社交的产品探索**通过AB实验低风险地快速试错,让团队「勇于... 人均App使用时长和人均App活跃天数都有显著上升。- **懂车帝-APP提升登录率的优化实践**懂车帝的目标是在不影响未登录用户使用体验的前提下,提升登录率。通过定位问题、确定方案、开启AB实验,三个步骤选择出...
该技术已广泛应用在字节跳动内部的教育、视频、小说、客服、硬件、音乐、办公、游戏、广告等业务场景。实践证明,作为新型的生产工具,智能语音技术能够极大地提升 AI 内容生产和创作领域的生产力。**近日,字节跳... 字节跳动是从 **2017 年底** 重点投入智能语音技术的。公司对智能语音技术需求主要来自于短视频中的内容审核、自动字幕和配音功能、办公软件飞书的会议转写、客服外呼机器人的语音交互链路、教育口语评测、小说音...
**导读:** 字节跳动数据湖架构是在 Apache Hudi 开源版本基础上的再次迭代,在 Hudi 落地的过程中,字节跳动也遇到了各种类型的问题,尤其是在索引使用的效率上。针对自身实际的业务场景和数据规模,字节也提出了新的索... **Q3:Hudi 在字节的应用场景有哪些?** A3:Hudi 在字节的主要应用是基于 COW 的特性替换了存量 Hive 表,第二个应用场景是在实时入湖基于 MOR 特性替换了 ODS 层,第三是基于 Hudi 存储和 Flink 连接构建了完整的实...
字节跳动的增长有没有什么秘密? 6月10日,火山引擎首次品牌发布会在京举行,字节跳动副总裁杨震原以《字节跳动的增长没有秘密》为题,阐释字节跳动为什么要做火山引擎,把技术对外开放。 杨震原介绍说,过去几年,很多企... 能不能帮我们也做下应用商店的推荐算法?我们的应用商店也有很多个性化推荐的需求,用户找不到他们的App,这对我们的收入也会有影响。” 当时内部还是有些纠结的,有很多的讨论,也有不一样的声音。这个事情不是我们主业...
火山引擎云原生平台负责人沈健围绕“**字节跳动的多云实践之路**”为主题进行了分享,介绍了字节跳动实行多云云原生战略的原因、过程和最终成果。## 业务驱动多云架构建设云服务经过十几年的演进,如今在企业的应用已经发展出了多云、混合云、分布式云、边缘云、行业云等多种形态。面对业界层出不穷的新概念,很多人会困扰:**它们的区别是什么?**在云服务商眼中,按照中国信通院发布的定义,所谓分布式云,是一种将云服务按需部署...
“字节范儿”里讲句话是“敢为极致”,我们也确实把这个应用在了这里的产品上,产品的每个细节都追求用户数据的极致。正是依靠这种“毫厘”之争,我们一步步跑在了如今国内甚至全球范围里,增长领域的前列。对字节而言,这些年的业务践行的是“增长”同一个命题。我们积累了大量的案例,全套的方法论与工具,还有诸多故事与踩坑经验。2022年,是字节跳动成立的第10年,我们开启了这个「增长课堂」的栏目。期望在这里,将我们的“增长...
[picture.image](https://p6-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/8d8f04a060874eb2ae273a95c8f928c7~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1711729216&x-signature=QCCXJnMW2fe4ZEVNA1%2B4RylFmNY%3D)作为字节跳动在离线混部场景中最核心的调度系统,Gödel 提供丰富的资源 QoS 管理能力,可以统一调度在线和离线应用,极大提升资源利用率。来源 | KubeWharf...