## 前言2023年是一个充满挑战和机遇的一年,我在这一年里主要使用了华为云开天云平台,进行了多个行业应用的开发和部署。开天云平台是华为云面向开发者构建的行业aPaaS,聚合了丰富的行业领域的开放能力,提供了全流程一站式的开放平台,以应用和数据的维度沉淀行业资产,统一应用分发及运营,提升了应用构建、开发与使用体验。在这篇总结中,我将回顾我在使用开天云平台的过程中,遇到的问题、解决的方案、收获的经验和展望的未来。#...
随着业务和数据的快速增长,云计算和大数据技术也得到了迅速发展,云原生化和智能化已成为一种趋势。在此背景下,字节跳动进行了一系列大数据架构 Serverless 化的探索与实践,并在 AI 智能化方向进行了研究,最终形成火... 容灾容错能力以及实战应用几个方面介绍字节跳动超大规模云原生消息引擎 BMQ。* #### **基于 ES + Flink 构建无服务器分析链路****李佳林 火山引擎****云原生****大数据解决方案架构师****演讲简...
随着业务和数据的快速增长,云计算和大数据技术也得到了迅速发展,云原生化和智能化已成为一种趋势。在此背景下,字节跳动进行了一系列大数据架构 Serverless 化的探索与实践,并在 AI 智能化方向进行了研究,最终形成火... 容灾容错能力以及实战应用几个方面介绍字节跳动超大规模云原生消息引擎 BMQ。* #### **基于 ES + Flink 构建无服务器分析链路** **李佳林 火山引擎** **云原生** **大数据解决方案架构师** **演讲...
[picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/b079ee9176d54bcfbb907b70c553ce59~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1714062037&x-signature=kmXwLaBu9nQyUAUGAz6VBkiFwyU%3D)云原生大数据是大数据平台新一代架构和运行形态。随着字节跳动内部业务的快速增长,传统大数据运维平台的劣势开始逐渐暴露,如组件繁多,安装运维复杂,与底层环境过度耦合;对业务方来说...
随着业务和数据的快速增长,云计算和大数据技术也得到了迅速发展,云原生化和智能化已成为一种趋势。在此背景下,字节跳动进行了一系列大数据架构 Serverless 化的探索与实践,并在 AI 智能化方向进行了研究,最终形成火山引擎云原生大数据平台方案。 11月18日,在由上海白玉兰开源开放研究院、人工智能开源软件发展联盟联名主办的 **Data & AI Con Shanghai 2023** 大会上,将特别设立**云原生****大规模计算实践专场**。来自火山...
数据量也呈爆炸式增长,传统的大数据架构在资源利用、高效运维、可观测性等方面存在诸多不足,已经越来越无法适应当下的发展需求。云原生大数据方案,逐渐成为众多企业解决传统大数据平台痛点的不二之选。2023年8月5-6日,09:00-12:30,DataFun 举办 DataFunSummit 云原生大数据峰会。火山引擎云原生计算团队深度参与本次线上峰会,由 **火山引擎云原生计算技术负责人-李亚坤** 任峰会专家团成员参与策划; **批式计算研发负责人-一...
ECS正式发布新一代面向通用场景的Intel实例产品,基于火山全新自研DPU软硬件一体架构设计,结合自研网络、虚拟化技术,打造实例产品极致性能,整体性能较上一代实现大幅提升。 在网络性能方面,最大规格网络带宽可达96Gbps,较上一代实例提升20%,网络转发能力可达3600万PPS,对比上一代提升260%,可以轻松应对网络密集型应用场景。在存储方面,性能最高可达60w IOPS,相比上一代实例提升1倍。此外,在中小规格实例网络/存储带宽具备突发能力...
[picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/180438eadeb445889b11fc9de0214fde~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1714062037&x-signature=rNxJdpyitrcows7RrodF%2BlaVGrU%3D) **活动介绍**随着云原生基础设施的普及,大数据系统如何丝滑地云原生化已经成为 **不可逆的趋势**。6 月 10 日,**火山引擎云原生计算**和 **稀...
数据库、大数据、AI 推理等应用场景下日益增长的性能需求。 现通用型g3i、计算型c3i、内存型r3i已在华北2(北京)邀测上线。要了解更多信息,请访问实例规格介绍。 【特殊说明】本次邀测结束后,需要释放相关实例进行统一维护,请勿在邀测实例上部署正式应用环境,并在邀测期结束前(2023年5月12日24点)释放相关实例。如到期不释放邀测实例,火山有权主动释放该实例,该实例中的数据将被删除。
主要负责大规模云原生批流一体 AI 模型训练引擎,支撑了包括抖音视频推荐、头条推荐、穿山甲广告、千川图文广告等业务。* #### **字节跳动 Spark 支持万卡模型推理实践** **刘畅 字节跳动基础架构工程师** **张永强 字节跳动机器学习系统工程师** **演讲简介:** 随着云原生的发展,Kubernetes 由于其强大的生态构建能力和影响力,使得包括大数据、AI 在内越来越多类型的负载应用开始向 Kubernetes 迁移,字节内部...
火山引擎抢占式实例正式邀测发布,抢占式实例是一种按照供需关系变化价格波动的新型按量计费类型实例,相比于按量计费实例Spot 实例最高可提供 80% 的价格折扣,除价格外一个重要特点就是系统会根据供求关系,对已分配的实例进行回收且实例数据不会保留;基于该类型实例特殊性如果能灵活控制应用程序的运行时间并且应用程序可以接受中断,抢占式型实例就是经济实惠之选,例如大数据、容器化工作负载、CI/CD、Web 服务器、高性能计算 (HP...
随着行业的快速发展和业务的高速迭代,数据量也呈爆炸式增长,传统的大数据架构在资源利用、高效运维、可观测性等方面存在诸多不足,已经越来越无法适应当下的发展需求。云原生大数据方案,逐渐成为众多企业解决传统大数据平台痛点的不二之选。 2023年8月5-6日,09:00-12:30,DataFun 举办 DataFunSummit 云原生大数据峰会。火山引擎云原生计算团队深度参与本次线上峰会,由**火山引擎云原生计算技术负责人-李亚坤**任峰会专家团成...
在云上提供稳定、强劲的算力,助力用户在云上加速业务创新。 第三代AMD 内存型r3a产品CPU与内存配比1:8,同规格算力相比第二代Milan实例实现了50%以上的提升,中小规格实例全新支持突发,网络带宽最高支持突发10倍,存储IOPS/带宽最高突发4倍。全新支持的Trunking ENI特性,在高密度容器/网元场景下最高支持ENI数,较普通弹性网卡密度提升15倍。 第三代AMD 内存型r3a产品可满足内存型数据库、大数据、数据分析等应用场景下日益增长的性能...