让我们来看一下 Apache Pulsar 的基本情况,以及一些核心的特性和优势。正是这些特性和优势,促成了我们将 Apache Pulsar 集成到火山引擎 EMR 中,并相信这样做会给用户带来很大的价值。Apache Pulsar 是一个开源的基于发布 / 订阅模式的分布式、云原生、多租户的高性能消息与流平台,提供消息队列和计算服务,解决服务器间的消息传输与队列问题。Pulsar 具有很多令人瞩目的特性和优势,下面选取了其中的一部分,主要是与把 Pulsar ...
Pulsar 的关键特性如下: - 是下一代云原生分布式消息流平台。 - Pulsar 的单个实例原生支持多个集群,可跨机房在集群间无缝地完成消息复制。 - 极低的发布延迟和端到端延迟。 - 可无缝扩展到超过一百万个 topic。 - 简单的客户端 API,支持 Java、Go、Python 和 C++。 - 主题的多种订阅模式(独占、共享和故障转移)。 - 通过 Apache BookKeeper 提供的持久化消息存储机制保证消息传递 。 - 由轻量级的 serverless 计算框架...
让我们来看一下 Apache Pulsar 的基本情况,以及一些核心的特性和优势。正是这些特性和优势,促成了我们将 Apache Pulsar 集成到火山引擎 EMR 中,并相信这样做会给用户带来很大的价值。 Apache Pulsar 是一个开源的基于发布 / 订阅模式的分布式、云原生、多租户的高性能消息与流平台,提供消息队列和计算服务,解决服务器间的消息传输与队列问题。 Pulsar 具有很多令人瞩目的特性和优势,下面选取了其中的一部分,主要是与...
## 一、前言近年来,随着微服务、云原生和 Serverless 概念的普及以及容器化技术的发展,事件驱动也再次成为热点,引起 IT 界广泛的关注。事件驱动架构是一种用于设计应用的软件架构和模型。对于事件驱动系统而言,事... 本文会从以下几个方面来剖析 Apache EventMesh 云原生分布式事件驱动架构: - 什么是 EventMesh - 云原生生态下的事件驱动架构模型 - EventMesh 架构 - EventMesh 的相关特性以及应用场景 - 总结回顾 - 未来...
1 Livy 介绍Apache Livy 是一个 Rest 服务,允许用户通过 Rest API 向 Spark cluster 提交作业。它的架构如下 用户通过 Rest API 向 livy server 提交作业请求,之后 server 会向 cluster manager(通常是 yarn)提交 spark 作业。Spark 作业以 cluster 模式运行,即 spark context 运行在 cluster 内,而非 livy server 中,之后 Livy 以 session 来管理这些 spark 作业。 2 Livy 入门2.1 Rest APISession 是 Livy 中一个非常重要的概念...
Apache 软件基金会的官方全球系列大会 CommunityOverCode Asia(原 ApacheCon Asia)首次中国线下峰会将于 2023 年 8 月 18-20 日在北京丽亭华苑酒店举办,大会含 17 个论坛方向、上百个前沿议题。字节跳动云原生计... 主要负责 Serverless Flink 等方向研发;闵中元,于 2021 年加入字节跳动,就职于基础架构开放平台团队,主要负责 Serverless Flink ,Flink OLAP 等方向研发。 **专题:人工智能/机器学习** ...
本文主要介绍 Apache Doris 设计和开发数据湖联邦分析特性的思考和实践。 全文分为三部分,首先介绍数据湖相关技术的演进,其次介绍 Apache Doris 数据湖联邦分析的整体设计和相关特性,最后介绍 Apache Doris 在数... 数仓的主要特点是只能处理结构化数据。随着数据科学和人工智能的发展,产生了越来越多的非结构化数据,但非结构化数据在数仓中处理中相对麻烦,于是数据湖技术出现了。 数据湖可以被定义为一种存储各类原始数据的存...
Apache 软件基金会的官方全球系列大会 CommunityOverCode Asia(原 ApacheCon Asia)首次中国线下峰会将于 2023 年 8 月 18-20 日在北京丽亭华苑酒店举办,大会含 17 个论坛方向、上百个前沿议题。字节跳动云原生计... 主要负责 Serverless Flink 等方向研发;闵中元,于 2021 年加入字节跳动,就职于基础架构开放平台团队,主要负责 Serverless Flink ,Flink OLAP 等方向研发。 ### 专题:人工智能 / 机器学习#### 字节跳动深...
本期文章为大家分享的是“**Apache Doris 数据湖联邦分析特性揭秘**”的演讲视频。详细内容请点击下方视频链接进行观看。谢谢!演讲出处:2022 SELECT FUTURE FROM DORIS演讲内容:Apache Doris 数据湖联邦分析特性揭秘演讲作者:火山引擎大数据工程师 杜军令视频链接:[点击查看](https://www.volcengine.com/docs/6491/173932)
Apache Kyuubi 是一个分布式、多租户、高性能的网关,可以为数据湖的众多计算引擎提供 SQL 查询服务。 功能特性以下为您介绍 Kyuubi 拥有的一些功能特性: 特性 说明 统一接口 Kyuubi 实现了标准的 Hive Service RPC module。通过 Kyuubi,您可以像使用 Hive Server2 与 STS 一样地使用 Kyuubi 访问数据。 多租户 Kyuubi 通过统一的身份认证与授权系统,为企业级应用提供安全保障,也得以构建出端到端的数据访问多租户支持。这种多租户...
Doris 作为 OLAP 领域中一款极具代表性的开源组件,也被集成到了火山引擎 EMR 产品生态中。 > 本文主要介绍 Apache Doris 设计和开发数据湖联邦分析特性的思考和实践。全文分为三部分,首先介绍数据湖相关技术的演... 数仓的主要特点是只能处理结构化数据。随着数据科学和人工智能的发展,产生了越来越多的非结构化数据,但非结构化数据在数仓中处理中相对麻烦,于是数据湖技术出现了。 数据湖可以被定义为一种存储各类原始数据的存...
本文主要介绍 Apache Doris 设计和开发数据湖联邦分析特性的思考和实践。 全文分为三部分,首先介绍数据湖相关技术的演进,其次介绍 Apache Doris 数据湖联邦分析的整体设计和相关特性,最后介绍 Apache Do... 数仓的主要特点是只能处理结构化数据。随着数据科学和人工智能的发展,产生了越来越多的非结构化数据,但非结构化数据在数仓中处理中相对麻烦,于是数据湖技术出现了。 数据湖可以被定义为一种存储各类原始...
> Apache Airflow 与 ByteHouse 相结合,为管理和执行数据流程提供了强大而高效的解决方案。本文突出了使用 Apache Airflow 与 ByteHouse 的主要优势和特点,展示如何简化数据工作流程并推动业务成功。### 主要优势... 通过执行以下命令来初始化 Airflow 的 Web 服务器 ```# 初始化数据库airflow db initairflow users create \--username admin \--firstname admin \--lastname admin \--role Admin \--email admin...