Apache Calcite PMC Member、Apache Flink Committer 李本超将参与 Keynote 演讲,分享参与开源贡献的经验与收获。![picture.image](https://p6-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/577dd907c9684d46804505c09df0bb40~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1715098882&x-signature=Os4gmT6cyGd9SVWITMCE0m4j3yo%3D)## 主题演讲### **开源贡献难吗?**也许很多同学都有想过参与一些开...
[picture.image](https://p6-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/226c4a487a114c45b58d43183b4da90c~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1715098854&x-signature=uL7ilDJ32hgK6XCXwkUSJu%2BPJdw%3D) Apache 软件基金会的官方全球系列大会 CommunityOverCode Asia(原 ApacheCon Asia)首次中国线下峰会将于 2023 年 8 月 18-20 日在北京丽亭华苑酒店举办,大会含 17 个论坛方向、...
Apache EventMesh 是⼀个⽤于`解耦`应⽤和后端中间件层的动态云原⽣`事件驱动`架构基础设施。它⽀持⼴泛的⽤例,包括复杂的混合云、使⽤了不同技术栈的分布式架构。![picture.image](https://p6-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/941d1d5f09764873bdecb3c39801fa11~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1715098841&x-signature=QWDHVS3vH0SvhxfIOU8a%2FC7g4Uc%3D)上面这张图我们可以...
[picture.image](https://p6-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/7418021f8fdc4bef90db5910e76ed9c5~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1715098848&x-signature=c%2FCoqqZGWyHPZHayJa4WGXEfV%2Bw%3D) 本文主要介绍 Apache Doris 设计和开发数据湖联邦分析特性的思考和实践。 全文分为三部分,首先介绍数据湖相关技术的演进,其次介绍 Apache Doris 数据湖联邦分析的整体...
Flink 在 Apache 中是不可忽视的明星项目。作为一个非常活跃的社区,用户提出的问题很快就会获得解答(基本在一天内),用户体验非常友好。同时社区成员也非常专业,保证了 Flink 技术上的先进性。此外,Flink 也在流计算的基础上扩展广泛的应用场景,基于 Flink 的流批一体、OLAP、Streaming Warehouse 等都在字节有相应的落地。![picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/1f7767c91958...
[picture.image](https://p6-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/516f6292c38c4371a38193e07c15d75c~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1715098844&x-signature=Rpkpnnq9RvPMa%2B6oKSzWM3hnUrs%3D) > > > 字节数据中台DataLeap的Data Catalog系统通过接收MQ中的近实时消息来同步部分元数据。Apache Atlas对于实时消息的消费处理不满足性能要求,内部使用Flink任务的处理方...
Flink 在 Apache 中是不可忽视的明星项目。作为一个非常活跃的社区,用户提出的问题很快就会获得解答(基本在一天内),用户体验非常友好。同时社区成员也非常专业,保证了 Flink 技术上的先进性。此外,Flink 也在流计算的基础上扩展广泛的应用场景,基于 Flink 的流批一体、OLAP、Streaming Warehouse 等都在字节有相应的落地。 ![picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/41f2afa71eb...
[picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/bfa7ab380eee44de8cd396ffd2fe0c4d~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1715098848&x-signature=BBGhuLQ4FWGOugxASGAd%2Fz1yKbE%3D)> > > > 作为新一代数据湖平台,> Apache Hudi> 在实时场景中广泛使用。但在应用过程中也存在同步执行、异步执行等问题。本文将从表服务管理角度,详细解读字节跳动基于> Apache ...
[picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/5854b10d776448b88133eebb4152a5a1~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1715098854&x-signature=SLQOM0xZLd4K59OCX9EX7qe54pM%3D)本文出自字节跳动流式计算团队的方勇、胡伟华同学专访。两位同学在 Apache Flink 社区主要贡献了包括 Runtime Coordinator、Streaming Warehouse 等相关 Feature。于2023年7月正式受邀...
[picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/b9765268261743f8a9ec7e22518cfe7b~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1715098844&x-signature=Ypm0VhhYaWzadrhKVde7FeMrg7Y%3D)本文对目前主流数仓架构及数据湖方案的不足之处进行分析,介绍了字节内部基于实时/离线数据存储问题提出的的湖仓一体方案的设计思路,并分享该方案在实际业务场景中的应用情况。最后还会为...
点击上方👆蓝字关注我们! ![picture.image](https://p6-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/2033254546d544f0b8e4742b9d5261d0~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1715098861&x-signature=XyifAXmgKNSl4vU6YIYJdH4UXVk%3D)本文出自字节跳动流式计算团队的方勇、胡伟华同学专访。两位同学在 Apache Flink 社区主要贡献了包括 Runtime Coordinator、Streaming War...
[picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/0aba9754c8f649c09d5255d604dc224a~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1715098896&x-signature=6iKHFSyZgvp7fG8uklpLg3ssZaY%3D)作为新一代数据湖平台,Apache Hudi在实时场景中广泛使用。但在应用过程中也存在同步执行、异步执行等问题。本文将从表服务管理角度,详细解读字节跳动基于Apache Hudi的优化方案和最佳实践。*...
(https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/4aa2c770f1cf47c6bacf6510008f5fd3~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1715098847&x-signature=XMywJyh%2Fi9NZLZWN4mNHyEr6Ye4%3D) LAS 流批一体存储是基于开源的 Apache Hudi 构建的,在整个落地过程中,我们遇到了一些 **问题** 。 **Apache** **Hudi 仅支持单表的元数据管理,缺乏统一的全局视图,会存在数据...