apache服务器性能如何优化
社区干货
干货|揭秘字节跳动对Apache Doris 数据湖联邦分析的升级和优化
本文主要介绍 Apache Doris 设计和开发数据湖联邦分析特性的思考和实践。 全文分为三部分,首先介绍数据湖相关技术的演进,其次介绍 Apache Doris 数据湖联邦分析的整体设计和相关特性,最后介绍 Apache Do... 会分别连接到外部的 JDBC Server 和 ES Server 来进行元数据获取。 
特惠活动
apache服务器性能如何优化-优选内容
apache服务器性能如何优化-相关内容
Apache Iceberg 中引入索引提升查询性能
> Apache Iceberg 是一种开源数据 Lakehouse 表格式,提供强大的功能和开放的生态系统,如:Time travel,ACID 事务,partition evolution,schema evolution 等功能。> 本文将讨论火山引擎EMR团队针对 Iceberg 组件的优化思路,通过引入索引来提高查询性能。# 采用 Iceberg 构建数据湖仓火山引擎 E-MapReduce(简称 EMR)是火山引擎数智平台(VeDI)旗下的云原生开源大数据平台产品, 提供了企业级的 Hadoop、Spark、Flink、Hive、Pre...
字节跳动基于Apache Atlas的近实时消息同步能力优化 | 社区征文
字节数据中台DataLeap的Data Catalog系统基于Apache Atlas搭建,其中Atlas通过Kafka获取外部系统的元数据变更消息。在开源版本中,每台服务器支持的Kafka Consumer数量有限,在每日百万级消息体量下,经常有长延时等问题,影响用户体验。在2020年底,我们针对Atlas的消息消费部分做了重构,将消息的消费和处理从后端服务中剥离出来,并编写了Flink任务承担这部分工作,比较好的解决了扩展性和性能问题。然而,到2021年年中,团队开始重点投...
干货|字节跳动基于Apache Atlas的近实时消息同步能力优化
字节数据中台DataLeap的Data Catalog系统基于Apache Atlas搭建,其中Atlas通过Kafka获取外部系统的元数据变更消息。在开源版本中,每台服务器支持的Kafka Consumer数量有限,在每日百万级消息体量下,经常有长延时等问题,影响用户体验。在2020年底,我们针对Atlas的消息消费部分做了重构,将消息的消费和处理从后端服务中剥离出来,并编写了Flink任务承担这部分工作,比较好的解决了扩展性和性能问题。然而,到2021年年中,团队开始重点...
干货 | 以一次Data Catalog架构升级为例,聊聊业务系统的性能优化
许多接口的读写性能都有严重下降,服务器资源的使用也被拉伸到夸张的地步,比如:* 写入一张超过3000列的Hive表元数据时,会持续将服务节点的CPU占用率提升到100%,十几分钟后触发超时* 一张几十列的埋点表,上下游很多,打开详情展示时需要等1分钟以上为此,我们进行了一系列的性能调优,结合Data Catlog产品的特点,调整了Apache Atlas以及底层Janusgraph的实现或配置,并对优化性能的方法论做了一些总结。 ...
十个月,专访李本超的 Apache Calcite PMC 进击之路
> 本文出自字节跳动基础架构流式计算方向的工程师李本超同学专访。李本超从2022年3月开始参与 Apache Calcite 社区贡献,主要贡献了包括子查询优化、Join 优化、JSON 函数优化、JDBC Adapter、通用的表达式优化等。于2023年1月正式受邀成为 Apache Calcite PMC。 # 十个月,由初识到热爱 在过去几年,我主要是负责 Flink SQL 相关的工作。在不断深入参与到 Flink 的开发贡献的过程中,也逐步的了解到了背后的 Calcite。因...
十个月,专访李本超的 Apache Calcite PMC 进击之路
[picture.image](https://p6-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/4a143d266aec43d3b4c47978dadad87d~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1714148433&x-signature=T1bFz%2BAOI5je4L3yiNPmzwoVVOc%3D)本文出自字节跳动基础架构流式计算方向的工程师李本超同学专访。李本超从2022年3月开始参与 Apache Calcite 社区贡献,主要贡献了包括子查询优化、Join 优化、JSON 函数优化、JDBC ...
干货内容(文章)
源自字节跳动的新型云原生 Spark History Server 正式发布》 《字节跳动基于 Apache Hudi 构建实时数仓的实践》 《字节跳动基于数据湖技术的近实时场景实践》 《Spark AQE SkewedJoin 在字节跳动的实践和优化》 《... 《干货丨字节跳动基于 Apache Hudi 的湖仓一体方案及应用实践》 《火山引擎LAS专家:浅谈数据存储与计算》 《为数据“上云”护航,得到与火山引擎数智平台达成合作》 《干货|字节跳动数据技术实战:Spark性能调优与功...
干货 I 字节跳动基于 Apache Hudi 的数据湖实战解析
Apache Hudi在实时场景中广泛使用。但在应用过程中也存在同步执行、异步执行等问题。本文将从表服务管理角度,详细解读字节跳动基于Apache Hudi的优化方案和最佳实践。***关注字节跳动数据平台公众号,回复【0222】获... 为了保证读取性能需要进行 File Group 的重分布。所以为了维护 Hudi 表写入了读取性能,文件数目等多种需求,Hudi 提供了多种重要的表服务,它们是:- Compaction:用于合并 Base File 和 Log File 的,同时会生成一...
干货 I 字节跳动基于 Apache Hudi 的数据湖实战解析
Apache HUDI 作为数据湖框架的一种开源实现,提供了事务、高效的更新和删除、高级索引、 流式集成、小文件合并、log文件合并优化和并发支持等多种能力,支持实时消费增量数据、离线批量更新数据,并且可通过 Spark、F... 为了保证读取性能需要进行 File Group 的重分布。所以为了维护 Hudi 表写入了读取性能,文件数目等多种需求,Hudi 提供了多种重要的表服务,它们是:* Compaction:用于合并 Base File 和 Log File 的,同时会生成一...
