火山引擎云原生计算团队技术负责人李亚坤接受 InfoQ 专访,详细介绍了过去五年字节跳动在高速发展中历炼出的技术体系与团队,以及当下大数据云原生化的趋势。- 采访嘉宾 | 李亚坤- 编辑 | Tina* * *技术... 行业里再次开始了对大数据体系的云原生改造,同时 K8s 的流行,也让同为资源管理的 YARN 地位越来越尴尬。然而,过去的技术体系在很多企业系统里仍发挥着很重要的作用,在技术更新迭代的时候,业务不能随意变动,那么我...
2月25日,火山引擎视频云科技原力峰会顺利召开。 火山引擎视频云是如何发展起来的?火山引擎要做什么样的视频云?未来视频云又会是什么样的?火山引擎视频云技术负责人浩铭在以《面向体验,助推超视频时代新增长》为主题的演讲中,分享了对视频体验、交互、增长的观察与思考,并介绍了火山引擎视频云的从前、现在,以及未来的技术规划与构想。他表示:相信视频应用会持续朝着三个方向演进,更高清、更交互、更沉浸。 火山引擎视频云技术负...
技术负责人韩云飞做了关于字节跳动A/B测试平台的分享。DataTester是字节跳动内部应用多年的A/B实验平台,平台自建立至今,承载了字节500余个业务线的A/B实验任务,累计已开展过150万次实验,现在字节跳动每天会新增实验2000余个,同时在DataTester上运行的实验有3万余个。 字节跳动内部有着非常浓厚的数据文化和实验文化,抖音、今日头条的名字都经由A/B测试确定,而A/B测试也是整个研发链路上的必经一环。本文将以字节研发流程中...
实时数仓业务场景需要 SQL 来开发,且对数据准确性有了更高要求。然而,由于团队人手严重不足,工作进展很是缓慢。“只有两个人,Oncall 轮流值周。不用值周的时候,往往都在解决上一周 Oncall 遗留的问题。”张光辉如此形容。张光辉不得不一边扩充人员,一边与数据集成团队着手构建 SQL 平台。李本超正是这个时候加入了流式计算团队,并且在不久之后,就成为了 Flink SQL 方向的技术负责人。 **然而,用** **SQL** **来...
记录着我在技术海洋中的探索和成长。**### 一、成长经历2023年,对于我来说是不够幸运的一年。在三月份的时候,我选择了从工作近两年的公司中离职,跳槽去了一个新的公司。新的公司技术氛围很好、研发团队的小伙伴... 有把Vue、React当jQuery使的,有单文件(vue/react)近万行的。有会点后端、懂点前端的就称之为”全栈“的等等。这里不在叙述。如果比较热爱这一行,我认为应该需要做到的是:* 一个真正优秀的负责开发安卓客户端的...
火山引擎云原生负责人 沈健2022 年,火山引擎联合咨询机构 IDC 对超过 4500 个云消耗大于 100 万的企业进行调研,发现使用多云架构的企业占比达到 88%,达到历史新高。另据麦肯锡的报告,到 2025 年,依然会有 42% 的... 避免厂商绑定的重要性也日益凸显。长期使用单一供应商会存在云产品涨价、服务质量下降、技术架构不够灵活等风险,考虑到没有一朵云是 100% 无故障的,技术团队也更愿意选用更多的云供应商提供服务。 由...
本文是字节跳动数据平台开发套件团队在1月9日Flink Forward Asia 2021: Flink Forward 峰会上的演讲,着重分享了Flink在字节跳动数据流的实践。![picture.image](https://p3-volc-community-sign.byteimg.com... 数据流的时效性是一个强需求**。 而推荐模型的迭代、产品埋点的变动都可能导致UserAction的ETL规则的变动。如果ETL规则硬编码在代码中,每次修改都需要升级代码并重启Flink Job,会影响数据流稳定性和数...
本文整理自火山引擎开发者社区 Meetup 第四期同名演讲,主要为大家介绍了为什么要做 A/B 测试、火山引擎 A/B 测试系统架构及最佳实践。 作者|康康,火山引擎 A/B 测试技术负责人 为什么要做 A/B 测试 首先我们看一个案例。字节跳动有一款中视频产品叫西瓜视频,最早它叫做头条视频。为了提升产品的品牌辨识度,团队想给它起个更好的名字。经过一些内部调研和头脑风暴,征集到了西...
火山引擎云原生平台负责人沈健围绕“字节跳动的多云实践之路”,介绍了字节跳动实行多云云原生战略的原因、过程和最终成果。2022 年,火山引擎联合咨询机构 IDC 对超过 4500 个云消耗大于 100 万的企业... 避免厂商绑定的重要性也日益凸显。长期使用单一供应商会存在云产品涨价、服务质量下降、技术架构不够灵活等风险,考虑到没有一朵云是 100% 无故障的,技术团队也更愿意选用更多的云供应商提供服务。由于上...
字节跳动有众多的 APP 和服务,如何用混沌工程的方式保证这些系统和服务的高可用?本文详细介绍了字节跳动混沌工程技术的演进和系统高可用建设实践。 作者|邵育亮,基础架构团队系统治理方向负责人本文主要为大家介绍字节跳动在高可用建设上的一些思考和落地经验。先给大家简单介绍一下系统治理团队是做什么的。系统治理团队在基础架构团队内部,主要负责字节跳动 **研发的闭环生态** :从服务开发,到大规模微服...
负责人韩伟在LiveVideoStack Con 2023上海站围绕边缘云海量分布式节点和上百T的网络规模,结合边缘云快速发展期间遇到的各种问题和挑战,分享了**火山引擎边缘云网的全球基础设施,融合开放的云网技术体系以及未来火山... 网络转发框架中沉淀了通用的性能优化相关能力,能够为上层不同数据面的组件提供更好的复用。其次是基础云安全,我们协同安全团队提供原生防护能力、主机安全以及高级网络威胁检测能力。 在边缘云上,有CDN、DCD...
技术交流、福利放送 字节跳动数据平台 > > > 在字节跳动内部,数据平台数据治理团队致力于建立一站式、全链路的数据治理解决方案平台。本文是字节跳动数据平台开发套件团队... 则要考虑有数据治理目标下达之后,我该如何去做;我自己有哪些资产,资产有什么问题;我去做治理的时候,怎么样能够提高治理效率;我能不能及时发现数据资产的问题,并快速治理。**数据治理流程链路**因此在整...
其能够应用于科研开发、运营优化等场景中,为更多用户提供全面且领先的数智化系统服务。 火山引擎机器学习系统负责人项亮在解释统一、开放的AI基建时,表示企业希望能够赋能算法工程师,让每一个算法工程师的想法可以... OPPO数智工程系统总裁刘海峰在演讲中谈到,OPPO和火山引擎两个团队紧密合作,搭建了推荐系统的混合云的服务。双方以用户体验和商业生态长期可持续的发展为目标,并且在全球范围内建设了在技术与商业两个方面都很领先...