DolphinScheduler 是一个分布式、可扩展的工作流调度程序平台,以其强大的容错性和易用性而闻名。本文为您介绍如何使用 DolphinScheduler 连接 ByteHouse 进行数据查询分析。
使用 DolphinScheduler 连接 ByteHouse 时,当前支持以下三种方式连接:
细分项 | 已验证版本/注意事项 |
|---|---|
DolphinScheduler-含 ByteHouse 驱动 说明 使用 ByteHouse 数据源方式连接 ByteHouse 时需要。 | v3.1.9 |
DolphinScheduler-常规版本,不含 ByteHouse 驱动 说明 使用 MySQL、ClickHouse 数据源方式连接 ByteHouse 时需要。 | v3.1.2 或以上版本,DolphinScheduler-常规版本下载链接 |
MySQL 驱动 说明 使用 MySQL 数据源方式连接 ByteHous e时需要。 | 8.0.16,MySQL驱动下载链接 |
已获取 ByteHouse 帐户 API Token | API Token 的获取方式请参阅文档 获取 API Token。 |
登录并进入 ByteHouse 控制台后,在顶部租户管理的基本信息页面,查看网络组配置,确认已绑定 VPC,并绑定了公网域名。
进入顶部租户管理的参数设置页面,查看已设置了默认计算组,并确保此计算组是正在运行的状态,未被停止。后续对接 ByteHouse 后的数据查询等操作,即会使用此处配置的默认计算组。
IAM 用户使用 API Key 作为连接密码,您可进入顶部租户管理的连接信息页面,在 API Key 模块新建一个 API key,并将 API Key 保存至本地,用于后续的配置使用。
说明
一个子账号最多支持创建两个 API Key,如果此前您有已创建好的 API key,也可直接使用已创建好的 API Key。
在使用之前,请提前准备好 Dolphin scheduler v3.1.2 或以上版本环境。以下为简单的安装步骤示例。
说明
出于演示目的,以下将使用独立部署环境作为操作示例。
Docker 安装:
docker run --name dolphinscheduler-standalone-server -p 12345:12345 -p 25333:25333 -d apache/dolphinscheduler-standalone-server:3.1.2
二进制安装:
tar -xvzf apache-dolphinscheduler-*-bin.tar.gz cd apache-dolphinscheduler-*-bin bash ./bin/dolphinscheduler-daemon.sh start standalone-server
登录 DolphinScheduler 主页,如 http://localhost:12345/dolphinscheduler/ui/login,并填写账号与用户名。安装后的默认用户名/密码是:admin/dolphinscheduler123。
单击顶部 Security 页签进入 Security 页面后,单击 Create Tenant,创建一个新的租户。
单击顶部 DataSource 页签,进入数据源页面,单击 Create DataSource,创建数据源。
您可根据业务需要选择创建以下三种数据源中的一种,后续均可使用对应数据源连接 ByteHouse。
参数 | 使用 IAM 用户连接 |
|---|---|
Datasource | 选择 BYTEHOUSE。 |
Datasource Name | 自定义数据源名称。 |
IP | 配置为 ByteHouse 的网络域名,格式为: |
Port | 数据库端口号,配置为固定取值:19000。 |
User Name & Password | 登录 ByteHouse 数据库的用户名和密码。
|
Database Name | 配置为 ByteHouse 已创建的数据库名称。 |
jdbc connect parameters | 使用 ByteHouse 数据源时,无需再配置额外的连接参数。 |
下载 MySQL 驱动,并移动到 DolphinScheduler 指定目录。
standalone-server/libs/standalone-server/。// For Docker Installation docker cp ~/Downloads/mysql-connector-j-8.0.31.jar {DOCKER_CONTAINER_ID}:/opt/dolphinscheduler/libs/standalone-server/ // For Binary Installation cp ~/Downloads/mysql-connector-java-8.0.16/mysql-connector-java-8.0.16.jar standalone-server/libs/standalone-server
重启 DolphinScheduler。
// For Docker Installation // Stop Container docker stop {DOCKER_CONTAINER_ID} // Start Container docker start {DOCKER_CONTAINER_ID} // For Binary Installation // Stop Server bash ./bin/dolphinscheduler-daemon.sh stop standalone-server // Start Server bash ./bin/dolphinscheduler-daemon.sh start standalone-server
新建 MySQL 数据源。
参数 | 使用 IAM 用户连接 |
|---|---|
Datasource | 选择 MySQL。 |
Datasource Name | 自定义数据源名称。 |
IP | 配置为 ByteHouse 的网络域名,格式为: |
Port | 数据库端口号,配置为固定取值:3306。 |
User Name & Password | 登录 ByteHouse 数据库的用户名和密码。
|
Database Name | 配置为 ByteHouse 已创建的数据库名称。 |
jdbc connect parameters | 在连接参数中配置 SSL 开关参数,打开 SSL 开关。
注意 ByteHouse 需要加密认证,从而保护数据安全,因此您需打开 SSL,否则后续连接时会报错:
|
参数 | 使用 IAM 用户连接 |
|---|---|
Datasource | 选择 ClickHouse。 |
Datasource Name | 自定义数据源名称。 |
IP | 配置为 ByteHouse 的公网域名,格式为: |
Port | 数据库端口号,配置为固定取值:8123。 |
User Name & Password | 登录 ByteHouse 数据库的用户名和密码。
|
Database Name | 配置为 ByteHouse 已创建的数据库名称。 |
jdbc connect parameters | 在连接参数中配置 SSL 开关参数,打开 SSL 开关。
注意 ByteHouse 需要加密认证,从而保护数据安全,因此您需打开 SSL,否则后续连接时会报错:
|
完成数据源创建后,后续您即可使用数据源连接 ByteHouse 进行数据查询分析。以下以一个简单操作作为示例。
SQL 类型的工作流节点,并将节点拖拽到工作流画布中,自定义配置工作流节点的名称,例如:ByteHouseSQLSELECT。