微擎怎么把数据库放到云上
社区干货
干货 | 这样做,能快速构建企业级数据湖仓
火山引擎 EMR 的架构及特点,以及如何基于火山引擎 EMR 构建企业级数据湖仓。> > > > 
特惠活动
微擎怎么把数据库放到云上-优选内容
微擎怎么把数据库放到云上-相关内容
如何使用 Cluster Autoscaler 将批处理作业的节点扩容到 2000 个
本文将分享火山引擎容器服务 VKE 作为云上 Kubernetes 平台,在帮助客户实现集群资源弹性过程中的一些经历和挑战,共分为以下几个部分:* 第一部分介绍什么是 CA,以及它内部的流程和实现方式,帮助大家更好地理解其工作机制;* 第二部分简要说明客户批处理作业的使用场景;* 第三部分把重心放在客户在使用 Cluster Autoscaler 的过程中,碰到的问题和挑战,以及我们是如何解决的;最后将给出一些建议,帮助大家更好地实现集群弹性,...
Apache Pulsar 在火山引擎 EMR 的集成与场景
> 更多技术交流、求职机会,欢迎关注**字节跳动数据平台微信公众号,回复【1】进入官方交流群** 近年来,基于云原生架构的新一代消息队列和流处理引擎 Apache Pulsar 在大数据领域发挥着愈发重要的作用,其应用场景和客户案例也在不断地丰富与扩充。 火山引擎是字节跳动的企业服务品牌,主要面向 To B 业务场景。火山引擎中 Stateless 云原生开源大数据平台 E-MapReduce(简称 EMR)为用户提供了云上的端到端的大数据解决方案...
Apache Pulsar 在火山引擎 EMR 的集成与场景
火山引擎是字节跳动的企业服务品牌,主要面向 To B 业务场景。火山引擎中 Stateless 云原生开源大数据平台 E-MapReduce(简称 EMR)为用户提供了云上的端到端的大数据解决方案。与此同时,Apache Pulsar 的一个十分重要... 将大数据体系外面的数据上报到消息队列后,消息队列作为一个沟通的纽带,消息会流向下游的数据仓库的各层存储中,进入大数据体系内部。 - 不光是埋点日志信息,用户的业务数据库的信息,也可以通过把数据库 binlo...
如何快速构建企业级数据湖仓?
> 更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群 > 本文整理自火山引擎开发者社区技术大讲堂第四期演讲,主要介绍了数据湖仓开源趋势、火山引擎 EMR 的架构及特点,以及... 比如数据回流需要写数据库;日志要回流,要基于回流数据做指标计算,回流数据还需要转储以及 CDC;基于转储数据还要做 ETL 分析。- **湖仓需求多样**:如果存在机器学习需求,即要完成特征工程等一系列步骤,这些步骤也...
第一现场 | ClickHouse为啥在字节跳动能这么火?
在一众大数据计算引擎里算是一个后起之秀。但凭借性能方面的突出优势,这几年 ClickHouse 在分析型数据库领域可谓风生水起。作为 ClickHouse 深度用户,字节跳动拥有国内规模最大的 ClickHouse 集群。根据官方提供的最新数据,截至 2022 年 2 月底,字节跳动内部的ClickHouse 节点总数已经超过 18000 个,管理总数据量超过 700PB,最大的集群规模在 2400 余个节点。在这之上,承载着字节跳动广泛的业务增长分析工作。熟悉 ClickHo...
ClickHouse 为啥在字节跳动能这么火?
在一众大数据计算引擎里算是一个后起之秀。但凭借性能方面的突出优势,这几年 ClickHouse 在分析型数据库领域可谓风生水起。 作为 ClickHouse 深度用户,字节跳动拥有国内规模最大的 ClickHouse 集群。根据官方提供的最新数据,截至 2022 年 2 月底,字节跳动内部的 ClickHouse 节点总数已经超过 18000 个,管理总数据量超过 700PB,最大的集群规模在 2400 余个节点。在这之上,承载着字节跳动广泛的业务增长分析工作。 熟...
ClickHouse 为啥在字节跳动能这么火?
作者 | 蔡芳芳\采访嘉宾 | 陈星、邵祎旸、海书山ClickHouse 开源于 2016 年,在一众大数据计算引擎里算是一个后起之秀。但凭借性能方面的突出优势,这几年 ClickHouse 在分析型数据库领域可谓风生水起。作为 Cl... ClickHouse 云原生化改造是如何展开的?本文深度采访了火山引擎 ByteHouse 团队核心成员([点击了解火山引擎ByteHouse团队](https://mp.weixin.qq.com/s?__biz=MzkwMzMwOTQwMg==&mid=2247491104&idx=1&sn=3f5b2af0a...
火山引擎云存储选型指南 x 自动驾驶场景最佳实践
越来越多的企业将数据作为新的生产要素,越来越多的数据需要进行收集、存储、处理和分析。云存储作为云上的数据底层载体,支撑着越来越多的应用负载。无论是 **“稳”态** 还是 **“敏”态** 业务,或者 **创新型*... 本文将为您提供一个选型指南,如果您有计划将业务应用部署或迁移到火山引擎,可以参考文章内容选择最合适的云存储产品或者产品组合,为上层业务打造坚实的、高性价比的存储平台。 云存储产品选型方法论...
动力生态,擎助增长:四大动力为生态伙伴“破圈增长”引航指路
平台如何“按需”给予企业增长动力?如何用云技术与云服务驱动企业业务增长?是否可以形成资源、产品、服务兼备的“超级生态”,实现各行各业破圈增长? 7月20日,以“数字新引擎,云上新增长”为主题的2022火山引擎FORC... 火山引擎还协助智慧园区,开展数字化办公空间服务升级,打造数字化办公基础设施。企业可享受一站式数智办公空间、办公设备与办公软件服务的“拎包入住”的办公新体验,这将帮助更多微创新企业在资源共享基础上拓展新赛...
