由轻量级的 serverless 计算框架 Pulsar Functions 实现流原生的数据处理。 - 基于 Pulsar Functions 的 serverless connector 框架 Pulsar IO 使得数据更易移入、移出 Apache Pulsar。 - 分层式存储可在数据陈旧时,将数据从热存储卸载到冷/长期存储(如S3、GCS)中。## 二、什么是云原生既然说 Pulsar 是下一代云原生分布式消息流平台,那我们得知道什么是云原生吧。云原生的概念是 2013 年 Matt Stine 提出的,到目前为止...
Apache 软件基金会的官方全球系列大会 CommunityOverCode Asia(原 ApacheCon Asia)首次中国线下峰会将于 2023 年 8 月 18-20 日在北京丽亭华苑酒店举办,大会含 17 个论坛方向、上百个前沿议题。字节跳动云原生计... 主要负责 Serverless Flink 等方向研发;闵中元,于 2021 年加入字节跳动,就职于基础架构开放平台团队,主要负责 Serverless Flink ,Flink OLAP 等方向研发。 **专题:人工智能/机器学习** ...
还有以下的一些其他的原因。让我们来看一下 Apache Pulsar 的基本情况,以及一些核心的特性和优势。正是这些特性和优势,促成了我们将 Apache Pulsar 集成到火山引擎 EMR 中,并相信这样做会给用户带来很大的价值。Apache Pulsar 是一个开源的基于发布 / 订阅模式的分布式、云原生、多租户的高性能消息与流平台,提供消息队列和计算服务,解决服务器间的消息传输与队列问题。Pulsar 具有很多令人瞩目的特性和优势,下面选取了其中的...
Apache Calcite PMC Member、Apache Flink Committer 李本超将参与 Keynote 演讲,分享参与开源贡献的经验与收获。![picture.image](https://p6-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/577dd907c9684d46804505c09df0bb40~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1716049290&x-signature=MkNmUlxa2r4KFvujJYApJvkESJc%3D)## 主题演讲### **开源贡献难吗?**也许很多同学都有想过参与一些开...
Apache Calcite PMC Member、Apache Flink Committer 李本超将参与 Keynote 演讲,分享参与开源贡献的经验与收获。![picture.image](https://p6-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/577dd907c9684d46804505c09df0bb40~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1716049290&x-signature=MkNmUlxa2r4KFvujJYApJvkESJc%3D)## 主题演讲### **开源贡献难吗?**也许很多同学都有想过参与一些开...
## 一、前言近年来,随着微服务、云原生和 Serverless 概念的普及以及容器化技术的发展,事件驱动也再次成为热点,引起 IT 界广泛的关注。事件驱动架构是一种用于设计应用的软件架构和模型。对于事件驱动系统而言,事件的捕获、通信、处理和持久保留是解决方案的核心结构。事件驱动架构可以最大程度减少耦合度,很好地扩展与适配不同类型的服务组件,因此是现代化分布式应用架构的理想之选。本文会从以下几个方面来剖析 Apache Even...
文 | **洪剑**、**大滨** 来自字节跳动数据平台开发套件团队# 背景## 动机字节数据中台DataLeap的Data Catalog系统基于Apache Atlas搭建,其中Atlas通过Kafka获取外部系统的元数据变更消息。在开源版本中,每台服务器支持的Kafka Consumer数量有限,在每日百万级消息体量下,经常有长延时等问题,影响用户体验。在2020年底,我们针对Atlas的消息消费部分做了重构,将消息的消费和处理从后端服务中剥离出来,并编写了Flink任务承担...
还有以下的一些其他的原因。让我们来看一下 Apache Pulsar 的基本情况,以及一些核心的特性和优势。正是这些特性和优势,促成了我们将 Apache Pulsar 集成到火山引擎 EMR 中,并相信这样做会给用户带来很大的价值。 Apache Pulsar 是一个开源的基于发布 / 订阅模式的分布式、云原生、多租户的高性能消息与流平台,提供消息队列和计算服务,解决服务器间的消息传输与队列问题。 Pulsar 具有很多令人瞩目的特性和优势,下面选...
两位同学在 Apache Flink 社区主要贡献了包括 Runtime Coordinator、Streaming Warehouse 等相关 Feature。于2023年7月正式受邀成为 Apache Flink Committer。在软件开发的世界中,开源已成为普遍关注的话... 有时我也会浏览社区的 Jira 列表,查看哪些 issue 是我认为可以解决的,并将其加入我的 issue 列表中。在提交 PR 后,我会继续@可以帮忙 review 的人。有时候就在等待 CI 结果时,第二天就发现已经有 PMC 帮忙 Review ...
两位同学在 Apache Flink 社区主要贡献了包括 Runtime Coordinator、Streaming Warehouse 等相关 Feature。于2023年7月正式受邀成为 Apache Flink Committer。在软件开发的世界中,开源已成为普遍关... 总结而言有以下几大电力: 1. 在这个过程中更深入地了解了开源社区的运行机制,更加熟悉后续如何鼓励团队其他成员参与社区以及推动内部功能进入社区流程;2. 在社区交流过程中,认识了更多相关领域的伙伴,方...
1 Pulsar 简介Apache Pulsar(以下简称 Pulsar)是一个基于发布/订阅模式,且支持多租户、分布式、云原生的开源高性能消息与流平台,提供消息队列和计算服务,解决服务器间的消息传输与队列问题。 Pulsar 集合了传统消息... Pulsar 具有以下重要特性: 特性 说明 云原生 多层级架构,存算分离,计算和存储的横向扩展便利,同时支持云存储,便于在云上以及 Kubernetes 中部署。 Serverless 函数 通过易于使用的 API 编写 Serverless 函数,在 ...
Apache Hudi 仅支持单表的元数据管理,缺乏统一的全局视图,会存在数据孤岛。Hudi 选择通过同步分区、表信息到 Hive Metastore Server 的方式,提供全局的元数据访问。但是,两个系统之间的同步无法保证原子性,会有一致性问题。因此,缺乏一个全局的、可靠的视图。# **LAS 表服务管理的技术剖析**## 整体介绍![picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/9563d72da51a4bf09fc3a945c2b9e942...
> > > 本文出自字节跳动流式计算团队的方勇、胡伟华同学专访。两位同学在 Apache Flink 社区主要贡献了包括 Runtime Coordinator、Streaming Warehouse 等相关 Feature。于 2023 年 7 月正式受邀成为 Apache Fli... Streaming Warehouse 等都在字节有相应的落地。![picture.image](https://p6-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/1f7767c919584bbeba17e58d9cdf8f7b~tplv-tlddhu82om-image.image?=&rk3s=80...