集成示例

本文通过演示在火山引擎 E-MapReduce（EMR）的 DolphinScheduler 中运行 Spark、Flink 任务的示例，帮助您更好地理解 DolphinScheduler 的使用。

1 使用前提

1. 已创建包含 DolphinScheduler 组件的 EMR 集群。详见创建集群。

2. DolphinScheduler 组件服务，需要为 emr-master-1 机器实例绑定弹性公网 IP，并配置服务端口（DolphinScheduler 默认的服务端口是 12345）才能访问 DolphinScheduler Web UI，详见访问链接。

2 资源中心

在 DolphinScheduler 中，资源中心通常用于上传文件、UDF 函数和任务组管理。 EMR DolphinScheduler 中的资源中心基于同集群内的 Hadoop 集群，默认目录是：/dolphinscheduler，由配置项 resource_upload_path 定义。关于如何修改服务配置参数，请参阅管理服务配置参数。

本示例中，我们会运行一个经典的 WordCount 程序，需要先将所需的 spark jar、flink jar 与 word 文本文件（见下文）上传到资源中心，然后在后续定义具体工作流时进行引用。

• Spark jar:
  

  

  spark_test_jar.jar

  1.49MB

  

• Flink jar:
  

  

  Flink_test_jar.jar

  14.32KB

  

• Word 文本信息
  

  

  wordcount文件.txt

  1.15KB

  

上传操作如下：

1. 登录 EMR 控制台。

2. 在左侧导航栏中，单击集群管理 > 集群列表 > DolphinScheduler 集群详情 > 访问链接 > DolphinScheduler UI 访问链接， 进入 Web UI 登录界面。

3. 输入对应的用户名和密码信息，确认后进入 Web UI 界面。创建用户请参阅快速开始---创建用户。

4. 在上方导航栏中，单击资源中心按钮，进入资源文件夹管理界面。

5. 在文件管理界面，单击上传文件按钮，从本地选择对应文件，单击确定按钮，完成资源上传。
   

3 数据源中心

在运行 Spark SQL、Hive SQL 类型任务时，DolphinScheduler 要求在数据源中心中预先配置好数据源连接信息。这里以 EMR 3.x 版本的 Hadoop 类型集群中配置一个 Spark 数据源为例。

3.1 HA 集群

HA集群配置示例如下：

1. 单击界面上方导航栏中的数据源中心按钮，进入数据源中心界面。

2. 单击创建数据源，配置以下数据源信息：

   配置项	示例	说明
   数据源	spark	下拉选择数据源类型，此处选择 spark 数据源类型。
   数据源名称	spark_source	输入数据源名称信息。
   描述	HA 集群配置	输入该数据源的描述信息，方便后续管理。
   IP 主机名	emr-master-1,emr-master-2,emr-master-3	输入 spark 数据源的 master 名称。
   端口	2181	填写对应的端口号信息。
   用户名	hive	Spark 数据源下对应的用户名信息
   密码	******	对应的密码信息。
   数据库名	default	数据源下对应的数据库名信息。
   Jdbc 链接参数	{"serviceDiscoveryMode":"zooKeeper","zooKeeperNamespace":"midas/ha","auth":"LDAP"}	输入 json 格式的连接参数，以 {"key1":"value1","key2":"value2"...} 格式输入，非必填。

3. 以上使用的用户名密码可以从以下路径获取：

   1. 进入 EMR 控制台 > 集群管理 > 集群列表 > DolphinScheduler 集群详情 > 服务列表 > OpenLDAP > 服务参数界面。

   2. 获取 Hive 服务参数名称的管理员账号信息：

      • 账号：hive_admin 配置项内容；

        • 密码：hive_password配置项内容。
          

3.2 非 HA 集群

非 HA 集群配置示例如下：

4 工作流定义

4.1 使用前提

1. 已创建相关 DolphinScheduler 项目、用户信息及队列信息。详见快速开始。

4.2 操作步骤

1. 单击界面上方项目管理按钮，进入项目列表界面。

2. 单击详细项目名称，进入到项目概览界面。

3. 在左侧导航栏中，单击工作流 > 工作流定义按钮，进入工作流定义页面。

4. 单击创建工作流按钮，进入工作流 DAG 编辑页面，拖动相应的任务类型到右边栏中，新增对应任务。

4.3 Hive / Spark SQL

4.3.1 配置作业

拖动 SQL 任务类型到右边栏中，完成以下配置信息：

Spark SQL 与 Hive 一致，只需要在数据源选择的时候选择正确的类型以及实例即可。
SQL 语句示例：

-- SQL语句：
create table if not exists dolphin_test_spark_x(id int);

4.3.2 运行作业

作业配置完成后，您可执行以下步骤，执行配置的作业：

1. 在编辑界面，右上角单击保存按钮，保存工作流的配置。

2. 回到工作流定义列表界面，单击操作列中的上线按钮，完成作业发布。

3. 单击运行运行按钮，工作流生成相应的工作流实例，您可以进入工作流实例界面，进行查看具体实例执行情况。

   

4. 待工作流实例运行完成后，登录到 DolphinScheduler 集群的实例节点，执行如下命令：

   登入方式详见创建租户-集群远程登录。

spark-sql

show tables;

4.4 Flink

Flink 类型任务中统一包含了 SQL 与 JAR 两种提交方式。

4.4.1 JAR 包提交

工作流主要参数配置如下：

4.4.2 SQL

运行 Flink SQL 任务只需要将程序类型选择为 SQL，并在脚本输入框中录入需要执行的 SQL 即可。关于 Flink 不同部署方式在 EMR 中的支持情况，请参阅 Flink 基础使用。

4.5 Spark-submit

与 Flink JAR 提交的方式相同，Spark-submit 运行同样依赖通过资源中心上传的程序包和配套资源文件。
工作流主要参数配置如下：

配置完成，并运行工作流任务成功后，您可登入到 YARN UI 界面，查看对应的执行结果：

1. 进入集群管理 > 集群列表 > DolphinScheduler 集群详情 > 服务列表 > OpenLDAP > 服务参数界面。

2. 获取登录 YARN UI 的用户名和密码信息。

3. 进入DolphinScheduler 集群详情 > 访问链接， 单击 YARN ResourceManager UI 访问链接，并登录。

4. 在对应的 spark 作业 ID 下，查看最终的执行日志结果。