You need to enable JavaScript to run this app.
导航

准备工作

最近更新时间2023.03.15 19:34:56

首次发布时间2022.08.09 18:35:23

本文将向您介绍如何从随机数据源获取数据,进行加工计算,然后写入到 Kafka 消息队列。

1 新建Kafka数据源

  1. 登录消息队列 Kafka 版控制台

  2. 新建一个 Kafka Topic,具体操作请参见创建Topic

  3. 获取 Kafka 的 bootstrap.servers,具体操作请参见使用默认接入点连接实例

2 新建项目

如果您还未加入任何项目,则需要先创建一个项目,以便后续进行任务开发。

  1. 登录 DataLeap 租户控制台

  2. 单击左侧导航栏的项目管理,进入项目管理页面。

  3. 单击创建项目按钮,进入创建项目页面,完成项目基础信息、项目管控、服务绑定等项目配置工作。

    项目配置的相关参数说明请参见创建项目。其中,服务绑定中需配置火山引擎 E-MapReduce(EMR)相关实例信息,如下所示:

    1. EMR 集群下拉列表中,选择已创建成功的 EMR 集群名称。

      说明

      • 需选择 EMR 1.3.1 及之前的版本,进行 EMR Flink SQL 作业开发。若无对应版本,需先前往 EMR 控制台创建集群,详细操作说明请参见创建集群

      • 开通的 EMR 集群服务和新建的 Kafka 实例必须在同一个私有网络环境,否则无法连通。

    2. Yarn 队列下拉列表中,选择 Yarn 队列信息。

    3. 访问模式下拉列表中选择快捷模式,即项目下所有 EMR 任务,使用超级账号实现 EMR 资源鉴权和使用。