You need to enable JavaScript to run this app.
文档中心
文档备案控制台
大数据研发治理套件（私有化）

大数据研发治理套件（私有化）

请输入
  • 文档首页
    • 大数据研发治理套件（私有化）管理控制台集群管理
复制全文
我的收藏
管理控制台
集群管理
复制全文
我的收藏
集群管理

通过本功能，您可以注册集群，来连接 DataLeap 和相应的计算引擎，还可对集群进行编辑、账号映射、删除等管理操作。

约束限制

仅平台管理员或被授予平台管理员角色的用户具备集群管理权限，可以注册、修改集群等。

集群管理入口

  1. 登录DataLeap控制台。
  2. 单击左侧导航栏的集群管理，进入集群列表展示页面。
    Image

注册集群

基本参数

参数

说明

*集群类型

支持Apache Hadoop、MiniBase Hadoop、LAS、BYTEHOUSECE、GREENPLUM、DORIS、DATABRICKS等多种计算引擎选项，下拉可选。
一旦设定，不可更改。

*集群版本

各集群类型支持的版本，对应关系分别如下，下拉可选。

  • Apache Hadoop：7.1.9、3.2.2（TBDS、EMR Hive、LAS3）、3.3.1-mrs
  • MiniBase Hadoop：2.7.7
  • LAS：las2
  • BYTEHOUSECE：2.8
  • GREENPLUM：6
  • DORIS：2.0.3
  • DWS：8.2.1
  • STARROCKS：2.x、3.x
  • SQLSERVER：2008、2014
  • ORACLE：11g、12c
  • DATABRICKS：default
  • GBASE8A：9.5

说明

集群版本一旦设定，不可更改。

*集群名称

注册集群的名称，自行设定，仅支持中文字母数字下划线，不超过50个字符。

Apache Hadoop

参数

说明

连接信息

*连接类型

支持 hiveserver2、ranger、presto、kyuubi 连接类型，下拉可选。

注意

仅 Apache Hadoop 选择 3.2.2 版本时，才可连通 presto、kyuubi 类型。

*连接版本

各类型支持的版本，对应关系如下，下拉可选。

  • hiveserver2：3.1.3
  • ranger：2.4.0
  • presto：0.280
  • kyuubi：1.7.1

*连接名称

该连接信息的名称，自行设定。

描述

该连接的描述信息。

*JDBC URL

输入正确的JDBC URL，连接到数据库。

说明

当连接类型选择hiveserver2时，需设置该参数。

ZK Principal

ZooKeeper主体名称。该主体名称用于客户端在连接ZooKeeper服务器时进行身份验证。

说明

当连接类型选择hiveserver2时，可设置该参数。

*ranger地址

输入正确的ranger地址，连接到数据库。

说明

当连接类型选择ranger时，需设置该参数。

*presto地址

输入正确的presto地址，连接到数据库。
presto地址格式为：jdbc:presto://x.x.x.x:8084，其中x.x.x.x为presto的ip地址，需按实际情况填写，8084为presto的端口号。

说明

当连接类型选择presto时，需设置该参数。

*kyuubi地址

输入正确的presto地址，连接到数据库。
以开源方式接入安全集群，地址格式为：jdbc:hive2://x.x.x.x:10009/;principal=hive/_HOST@BYTED.COM，其中x.x.x.x是连接集群的节点ip，hive是登录的用户名，_HOST是集群具体的host。

说明

当连接类型选择kyuubi时，需设置该参数。

*用户名

输入正确的用户名。

说明

当连接类型选择hiveserver2、ranger或presto时，需设置该参数。

*密码

输入对应的密码。

说明

当连接类型选择hiveserver2或ranger时，需设置该参数。

配置文件信息

*配置Core-Site文件

上传Core-Site配置文件。

*配置Hdfs-Site文件

上传Hdfs-Site配置文件，并支持单个组件连通性测试。

*配置Yarn-Site文件

上传Yarn-Site配置文件，并支持单个组件连通性测试。

*配置Mapred-Site文件

上传Mapred-Site配置文件。

*配置Hive-Site文件

上传Hive-Site配置文件，并支持单个组件连通性测试。

配置Flink-Conf文件

上传Flink配置文件，支持选择多个版本，每个版本单独上传配置文件。

配置Spark文件

上传Spark配置文件，支持选择多个版本，每个版本单独上传配置文件。

*配置集群服务账号

支持单账号方式、Ldap方式和Kerberos方式三种配置方式。

  • 当选择单账号方式时，需设置账号名称。
  • 当选择Ldap方式时，需设置账号名称和密码。
  • 当选择Kerberos方式时，按需填写有相关读写权限的principal和 keytab文件。

注意

该账号用于元数据获取、系统建联、集群联通性测试、资源访问等，是比较重要的账号，请勿轻易变更改动。

MiniBase Hadoop

参数

说明

连接信息

*连接类型

支持hiveserver2、gemini连接类型，下拉可选。

*连接版本

各类型支持的版本，对应关系如下，下拉可选。

  • hiveserver2：1.2.2
  • gemini：1.0

*连接名称

该连接信息的名称，自行设定。

描述

该连接的描述信息。

*JDBC URL

输入正确的JDBC URL，连接到数据库。
当连接类型选择hiveserver2时，需设置该参数。

*用户名

输入正确的用户名。
当连接类型选择hiveserver2时，需设置该参数。

*密码

输入对应的密码。
当连接类型选择hiveserver2时，需设置该参数。

*Gemini地址

输入正确的ranger地址，连接到数据库。
当连接类型选择gemini时，需设置该参数。

*token

输入正确的token。
当连接类型选择gemini时，需设置该参数。

配置文件

参数

配置文件参数与Apache Hadoop相同，相关说明可参见上面的Apache Hadoop配置文件信息。

LAS

参数

说明

连接信息

*连接类型

支持hiveserver2连接类型，下拉可选。

*连接版本

各类型支持的版本，对应关系如下，下拉可选。

  • hiveserver2：3.1.2

*连接名称

该连接信息的名称，自行设定。

描述

该连接的描述信息。

*JDBC URL

输入正确的JDBC URL，连接到数据库。

*用户名

输入正确的用户名。

*密码

输入对应的密码。

集群参数

相关参数

按需配置以下集群参数：

  • *HmsUris
  • *Ak
  • *Sk
  • *MiniBaseHost
  • *Region
  • *ServiceHost
  • *ServiceSchema
  • *Toleap_Cross_Net
  • *AccountId

ByteHouse

参数

说明

基本信息

*集群ID

要连接的集群ID，按实际填写。一旦设定不可更改。
当集群类型选择BYTEHOUSECE时，需设置该参数。

*AccountId

平台用户的账号ID，自行输入。
当集群类型选择BYTEHOUSECE时，需设置该参数。

集群配置信息

*Host

输入正确的Host地址。

*用户名

管理集群的账号名称。该账号具备连接集群、元数据采集、权限管控等权限。

*密码

该用户的密码。

Greenplum

参数

说明

*JDBC URL

输入正确的JDBC URL，连接到数据库。

*用户名

输入正确的用户名。

*密码

输入对应的密码。

Doris

参数

说明

*JDBC URL

输入正确的JDBC URL，连接到数据库。

*用户名

输入正确的用户名。

*密码

输入对应的密码。

Oracle

参数

说明

*JDBC URL

输入正确的JDBC URL，连接到数据库。

*用户名

输入正确的用户名。

*密码

输入对应的密码。

SQLServer

参数

说明

*JDBC URL

输入正确的JDBC URL，连接到数据库。JDBC示例如下：

jdbc:sqlserver://192.168.1.1:1433;databaseName=your_database_name

当连接SQLServer数据库发生认证相关的失败时：

com.microsoft.sqlserver.jdbc.SQLServerException:
"endcrypt" property is set to "true" and
"trustServerCertificaate" property is set to "false"
but the driver could not establish a secure connection to SQL Server by using Secure Sockets Layer (SSL) encryption: Error: PKIX path building

可尝试在JDBC中增加安全参数：

jdbc:sqlserver://192.168.1.1:1433;databaseName=your_database_name;encrypt=true;trustServerCertificate=true;

*用户名

输入正确的用户名。

*密码

输入对应的密码。

DWS

参数

说明

*JDBC URL

输入正确的JDBC URL，连接到数据库。

说明

DWS 支持 JDBC 连接串追加参数信息，例如 jdbc:gaussdb://192.x.x.x:x/x?characterEncoding=UTF-8，其中 ?characterEncoding=UTF-8 为追加的参数信息。

*用户名

输入正确的用户名。

*密码

输入对应的密码。

StarRocks

参数

说明

*JDBC URL

输入正确的JDBC URL，连接到数据库。

*用户名

输入正确的用户名。

*密码

输入对应的密码。

Databricks

参数

说明

*用户映射规则

DataLeap默认同名映射，例如DataLeap账号是ABC，同步到databrikes 的账号就是abc。如果账号有邮箱后缀，则支持前缀、后缀匹配，例如ABC->ABC@163.COM。

*URL

集群地址，按实际输入。

*Catalog

集群元数据库，按实际输入。

说明

一个集群只支持一个catalog。

*Application ID

服务主体（service principal）的应用程序ID。
在databricks新建service principal可以查看对应的Application ID。

*Personal Access Tokens

服务主体的个人访问令牌，按实际输入。

GBASE8A

*JDBC URL

输入正确的JDBC URL，连接到数据库。

*用户名

输入正确的用户名。

*密码

输入对应的密码。

访问模式的说明

安全模式与快捷模式的差异

  • 安全模式：每个DataLeap账号与计算引擎的账号绑定（或打通），例如一个DataLeap的账号abc，绑定至计算引擎（例如Greenplum）的数据库账号（例如root），完成这种绑定之后，abc用户登录至DataLeap后，abc用户在DataLeap上执行临时查询、周期调度时，实际上使用的是数据库的root账号进行查询。进行账号绑定的目的为了隔离不同DataLeap账号的数据权限，管理员可通过为不同的DataLeap账号绑定不同的数据库账号来实现权限隔离，例如为DataLeap的abc账号绑定root账号，为DataLeap的bcd账号绑定read_only账号。
  • 安全模式在Hadoop底座的差异：由于Hadoop底座可能存在Kerberos认证、LDAP认证。在Hadoop底座的安全模式下，管理员可绑定Kerberos证书，或维护DataLeap与LDAP的账号映射。注意，管理员若需要严格区分每个用户的权限，则应为每个DataLeap用户生成一个单独的Kerberos证书，若多个用户共享同一个证书，则这些用户的数据权限无法区分。
  • 快捷模式：区别于安全模式，即所有DataLeap的用户访问该集群时，使用同样的账号访问，不区分数据权限，此种方式用于特殊的生产环境（例如生产环境无需区分权限），或本身数据不敏感，权限较低，无需区分权限的场景。在这种情况下，无需进行账号映射，即DataLeap的abc、bcd账号都使用数据库的read_only账号访问。

各引擎对访问模式的支持情况

引擎类型

支持快捷模式

支持安全模式

Apache Hadoop

✅

✅

MinBase Hadoop

❌

✅

LAS

❌

✅

ByteHouse

❌

✅

Greenplum

✅

❌

Doris

✅

❌

DWS

✅

✅

Oracle

✅

✅

SQLServer

✅

✅

StarRocks

✅

✅

Databricks

❌

✅

GBase8a

✅

✅

管理集群

注册集群后，您还可以对其进行编辑、账号映射、删除等管理操作。

  • 编辑集群
    单击某条信息的集群配置按钮，可以修改该集群配置信息。
  • 账号映射
    单击某条信息的账号映射按钮，在弹出的侧拉窗口中，可执行以下操作：

    • 绑定账号
      单击集群账号列表中某条信息操作列的绑定按钮，输入相应的账号信息，单击保存按钮完成DataLeap普通用户映射关系的绑定。

      参数

      说明

      *集群名称

      自动显示所选集群的名称，不可编辑。

      *集群类型

      自动显示所选集群的类型，不可编辑。

      说明

      仅安全模式下的 DORIS、GREENPLUM、DWS、DATABRICKS、Apache Hadoop、SQLSERVER、ORACLE、GBASE8A 集群需要进行账号映射操作。

      *访问模式

      自动显示所选集群的访问模式，不可编辑。

      说明

      仅安全模式下的 DORIS、GREENPLUM、DWS、DATABRICKS、Apache Hadoop、SQLSERVER、ORACLE、GBASE8A 集群需要进行账号映射操作。

      *映射方式

      支持以下三种映射方式选择：

      • DataLeap账号映射集群账号
      • DataLeap账号映射LDAP账号
      • DataLeap账号映射kerberos用户名

      说明

      仅当集群类型为Apache Hadoop时，需设置该参数。

      *集群账号

      • 当选择DataLeap账号映射集群账号时，需输入已创建的集群账号。
      • 当选择DataLeap账号映射LDAP账号时，输入在相应引擎平台创建的LDAP账号名和密码。
      • 当选择DataLeap账号映射kerberos用户名时，需输入已创建的Principal并上传keytab 文件。
        Principal 的命名格式通常为：principalName/hostname.域名

      说明

      • 当集群类型为DORIS、GREENPLUM、DWS、DATABRICKS、SQLSERVER、ORACLE 或 GBASE8A 时，仅支持映射集群账号。
      • DataLeap账号和ORACLE引擎集群账号是多对一的绑定关系，即多个DataLeap账号可绑定到同一个ORACLE引擎集群账号，而DataLeap账号和其他引擎集群账号是一对一的绑定关系。

    • 解绑账号
      单击某条已绑定账号信息操作列的解绑按钮，二次确认后，可以解除账号绑定。

    • 编辑绑定
      若引擎平台的已绑定LDAP账号发生变更，则可单击该账号信息操作列的编辑按钮，重新设置绑定的信息。

    说明

    通过映射操作，可以将DataLeap创建的账号映射到集群的账号上，此时DataLeap账号就拥有了集群账号的相应权限，您可使用DataLeap账号登录，执行库表管理相关操作。

  • 删除集群
    单击某条信息的删除按钮，二次确认后，可以删除该集群。

说明

当集群处于安全模式时，DWS、Apache Hadoop和ORACLE的DataLeap账号绑定集群账号后，默认拥有集群账号的相应资源权限，而其他类型则需申请权限后才可拥有相应权限。申请权限的相关操作说明可参见申请权限。

最近更新时间：2025.05.07 15:31:50
这个页面对您有帮助吗？
有用
有用
无用
无用