You need to enable JavaScript to run this app.
导航

绑定 Hadoop 集群

最近更新时间2024.02.22 16:26:30

首次发布时间2023.09.28 14:16:19

通过本功能,DataLeap 可以接入 EMR Hive 集群安全访问模式,从而实现对该模式下的 EMR Hive 数据源的库表权限管理。

1 前提条件

  1. 已创建相应的 EMR 集群。创建 EMR 集群的详细说明可参见创建集群
  2. Hadoop 类型集群已部署 Ranger 服务并开启 Hive Plugin 和 SparkSQL Plugin。
    部署 Ranger 服务并开启 Hive Plugin 和 SparkSQL Plugin 的相关操作如下:
    1. 登录 EMR 控制台,创建 EMR 集群并安装 Ranger 服务。
      图片
    2. 集群创建成功后,在该集群的 Ranger 服务页面,开启 Hive PluginSparkSQL Plugin
      图片

      注意

      • 不要删除Ranger的default_hive目录。
      • 如果补装Ranger服务,则需要重启Ossa服务。
      • 对于已开启的其他Plugin,如果您不使用其权限,则需要关闭相应的Plugin,或者在Ranger中将用户加入all-path策略。详细说明可参见Ranger相应文档快速开始
      • Ranger插件的开启和关闭都涉及对引擎配置的变更,需要重启对应服务才能感知到配置变更,比如Hive Plugin由关到开需要重启Hive,Hdfs Plugin由开到关需要重启HDFS。

2 操作步骤

  1. 登录 DataLeap 控制台。

  2. 选择引擎管理 > EMR集群绑定,进入EMR集群绑定页面。
    图片

  3. 单击绑定集群按钮,在弹出的窗口中,选择要绑定的EMR集群后,单击绑定按钮完成绑定并显示在列表中。

    说明

    仅可绑定处于运行中状态的集群。若下拉列表中没有所需选项,可单击购买EMR集群,跳转到EMR平台进行购买。

  4. 单击列表中某条信息操作列的访问模式按钮,在弹出的侧拉窗口中,可以修改访问模式并绑定EMR LDAP账号。

    1. 单击安全模式选项,弹出确认开启安全模式的对话框。
      图片
    2. 可按需选择以下操作:
      • 单击取消按钮,放弃开启安全模式。
      • 单击手动绑定按钮,开启安全模式成功,IAM账号需要手动绑定对应的LDAP账号。
      • 单击自动绑定按钮,开启安全模式成功,获取所有主账号下的IAM账号并调用EMR账号注册接口,创建EMR LDAP同名账号,密码为“DataLeap_8位随机数”。

      注意

      如果使用的是自建的LDAP服务,而不是EMR自带的LDAP账号服务,采用自动绑定可能导致自动创建绑定的LDAP账号无法正常通过账密验证,此时请务必使用手动绑定功能。

    设置访问模式相关参数说明如下表所示。其中名称前带 * 的参数为必填参数,名称前未带 * 的参数为可选参数。

    参数

    说明

    绑定EMR集群

    显示绑定集群的ID,单击可跳转至该集群的详情页面。

    *访问模式

    支持快捷模式和安全模式,默认为快捷模式。

    • 快捷模式:使用超级账号实现EMR资源鉴权和使用。
    • 安全模式:使用IAM账号绑定的EMR LDAP账号实现EMR资源鉴权和使用。如果没有绑定LDAP账号或绑定的LDAP账号没有相关资源权限,可能因为鉴权未通过导致相应任务失败。资源权限管理相关操作说明可参见数据安全

    说明

    • 快捷模式可以切换为安全模式,但安全模式暂不支持切换为快捷模式
    • 仅同时满足以下条件的EMR Hive集群才可以切换为安全模式。
      • 支持LDAP
      • 部署Ranger服务且开启Hive Plugin
    • 在集群处于安全模式下,主账号和拥有DataLeapFullAccess权限的IAM子账号可以看到完整的IAM用户列表,其他IAM子账号只能看到自己的IAM账户绑定并进行维护。

    EMR LDAP 账号绑定:子账号

    自动绑定

    可选择是否开启自动绑定EMR LDAP账号。

    • 若选择开启,则获取所有主账号下的IAM账号并调用EMR账号注册接口,创建EMR LDAP同名账号,密码为“DataLeap_8位随机数”。
      所有账号绑定完成后,会提示成功绑定EMR LDAP同名账号的数量。若有绑定失败的账号,则显示绑定失败的用户,并提示手动绑定。
    • 若选择关闭,则需手动输入在EMR平台创建的EMR LDAP账号名和密码。

    注意

    请务必确认使用的是EMR自带LDAP账号服务,如果使用非EMR自带LDAP,本开关即使开启也无法正常工作。

    IAM用户名

    IAM账号的用户名,不可编辑。
    列表中会显示所有当前存在的IAM账号。

    IAM显示名

    IAM账号的显示名,不可编辑。

    EMR LDAP 账号名

    EMR LDAP 账号名称,按实际输入。

    密码

    EMR LDAP 账号的密码,按实际输入。

  5. 对已绑定的EMR集群,还可进行以下管理操作:

    • 在搜索框中输入集群名称关键词,可以查看符合条件的集群列表。
    • 单击列表中某条信息的EMR集群名称,可以查看该集群的详细信息。
    • 访问模式页面,管理已绑定的账号。
      • 输入用户名关键词,可以查看符合条件的IAM用户列表。
      • 单击某条已绑定账号信息操作列的解绑按钮,二次确认后,可以解除账号绑定。
      • 单击某条已绑定账号信息操作列的编辑按钮,可以重新设置绑定的EMR LDAP账号名和密码。