Apache 软件基金会的官方全球系列大会 CommunityOverCode Asia(原 ApacheCon Asia)首次中国线下峰会将于 2023 年 8 月 18-20 日在北京丽亭华苑酒店举办,大会含 17 个论坛方向、上百个前沿议题。字节跳动云原生计... 主要负责 Serverless Flink 等方向研发;闵中元,于 2021 年加入字节跳动,就职于基础架构开放平台团队,主要负责 Serverless Flink ,Flink OLAP 等方向研发。 **专题:人工智能/机器学习** ...
字节数据中台DataLeap的Data Catalog系统基于Apache Atlas搭建,其中Atlas通过Kafka获取外部系统的元数据变更消息。在开源版本中,每台服务器支持的Kafka Consumer数量有限,在每日百万级消息体量下,经常有长延时等问... 对于Flink集群的依赖引入了可维护性的痛点。在仔细的分析了使用场景和需求,并调研了现成的解决方案后,我们决定投入人力自研一个消息处理框架。当前这个框架很好的支持了字节内部以及ToB场景中Data Catalog对于消...
Apache 软件基金会的官方全球系列大会 CommunityOverCode Asia(原 ApacheCon Asia)首次中国线下峰会将于 2023 年 8 月 18-20 日在北京丽亭华苑酒店举办,大会含 17 个论坛方向、上百个前沿议题。字节跳动云原生计... 主要负责 Serverless Flink 等方向研发;闵中元,于 2021 年加入字节跳动,就职于基础架构开放平台团队,主要负责 Serverless Flink ,Flink OLAP 等方向研发。 ### 专题:人工智能 / 机器学习#### 字节跳动深...
Pulsar 的单个实例原生支持多个集群,可跨机房在集群间无缝地完成消息复制。 - 极低的发布延迟和端到端延迟。 - 可无缝扩展到超过一百万个 topic。 - 简单的客户端 API,支持 Java、Go、Python 和 C++。 - 主题的多种订阅模式(独占、共享和故障转移)。 - 通过 Apache BookKeeper 提供的持久化消息存储机制保证消息传递 。 - 由轻量级的 serverless 计算框架 Pulsar Functions 实现流原生的数据处理。 - 基于 Pulsar Func...
Apache 软件基金会的官方全球系列大会 CommunityOverCode Asia(原 ApacheCon Asia)首次中国线下峰会将于 2023 年 8 月 18-20 日在北京丽亭华苑酒店举办,大会含 17 个论坛方向、上百个前沿议题。字节跳动云原生计... 主要负责 Serverless Flink 等方向研发;闵中元,于 2021 年加入字节跳动,就职于基础架构开放平台团队,主要负责 Serverless Flink ,Flink OLAP 等方向研发。 ### 专题:人工智能 / 机器学习#### 字节跳动深...
集群服务创建成功后,您可以在 集群详情 > 服务列表 中看到 Airflow。 步骤二: DAG文件编写Airflow 服务引入之后,接下来您需要用编程的方式创建工作流,让 Airflow 为您进行服务。这里提供一个来自官方的示例 DAG,它不需要其他任何依赖就能启动运行,助您快速体验。 python """ Tutorial DocumentationDocumentation that goes along with the Airflow tutorial located[here](https://airflow.apache.org/tutorial.html)""" [STAR...
本文通过设计一个基本的 ETL 场景,关联到集群中各大主要的大数据组件,同时结合 Airflow 一些设计原则,助您进一步掌握 Airflow 的使用。 一般来说,编写一个 DAG 文件需要涉及两个主要部分: 通过编码创建 DAG 源文件... python from airflow import DAGfrom airflow.operators.bash import BashOperatorfrom airflow.providers.apache.hdfs.sensors.hdfs import HdfsSensorfrom airflow.providers.apache.hive.operators.hive impo...
Pulsar 的单个实例原生支持多个集群,可跨机房在集群间无缝地完成消息复制。 - 极低的发布延迟和端到端延迟。 - 可无缝扩展到超过一百万个 topic。 - 简单的客户端 API,支持 Java、Go、Python 和 C++。 - 主题的多种订阅模式(独占、共享和故障转移)。 - 通过 Apache BookKeeper 提供的持久化消息存储机制保证消息传递 。 - 由轻量级的 serverless 计算框架 Pulsar Functions 实现流原生的数据处理。 - 基于 Pulsar Func...
全方位保障集群数据的可靠性和服务的可用性。 2023-11-09 全部地域 创建实例 规格资源调整 调整部分规格的 Topic、Group、连接数等资源配额。 2023-11-09 全部地域 产品规格 2023年10月功能名称 功能描... 2023-06-05 全部地域 创建白名单 RocketMQ 版本 消息队列 RocketMQ版支持 Apache RocketMQ 4.x 系列版本,兼容 4.x 版本的全量功能。 2023-06-05 全部地域 创建实例 Topic 队列数 创建 Topic 或修改其队...
CA为您签发SSL证书后,您可以在证书中心控制台下载已签发的证书。根据您的Web服务器类型(如 Nginx、Apache Tomcat、IIS 等),选择下载对应格式的证书。获得证书后,您可以将证书安装到服务器进行使用。 说明 如果要在火山引擎云产品上使用SSL证书,您可以使用证书部署功能,而无需下载证书。证书部署功能允许您快捷地将SSL证书安装到支持的云产品上进行使用。更多信息,请参见部署证书到火山引擎云产品。 前提条件您已经完成了以下操...
## 一、前言近年来,随着微服务、云原生和 Serverless 概念的普及以及容器化技术的发展,事件驱动也再次成为热点,引起 IT 界广泛的关注。事件驱动架构是一种用于设计应用的软件架构和模型。对于事件驱动系统而言,事件的捕获、通信、处理和持久保留是解决方案的核心结构。事件驱动架构可以最大程度减少耦合度,很好地扩展与适配不同类型的服务组件,因此是现代化分布式应用架构的理想之选。本文会从以下几个方面来剖析 Apache Even...
集群创建操作详见:创建集群。 2 Spark Operator 使用示例场景说明:通过 spark-submit 运行了 SparkPi 样例,之后通过 spark-sql 提交了新建表的请求,插入数据并查看,最后运行了 UDF 函数。该场景覆盖了 Spark 在日常工作中涉及到的主要 case,Airflow 为 Spark 提供了两个 Operator 支持,SparkSubmitOperator 与 SparkSQLOperator。 python from airflow.models import DAGfrom airflow.providers.apache.spark.operators.spark_su...
> 企业级数仓架构设计与选型的时候需要从开发的便利性、生态、解耦程度、性能、 安全这几个纬度思考。本文作者:惊帆 来自于数据平台 EMR 团队# 前言Apache Hive 经过多年的发展,目前基本已经成了业界构建超大规模数据仓库的事实标准和数据处理工具,Hive 已经不单单是一个技术组件,而是一种设计理念。Hive 有 JDBC 客户端,支持标准 JDBC 接口访问的 HiveServer2 服务器,管理元数据服务的 Hive Metastore,以及任务以 MapReduce...