You need to enable JavaScript to run this app.
导航

独享资源组管理

最近更新时间2024.01.19 10:48:30

首次发布时间2021.08.13 15:07:14

DataLeap 支持公共资源组和独享资源组两大类资源组类型,本文将为您介绍如何选择和使用独享资源组。
独享资源组包含独享数据集成资源组、独享计算资源组、独享调度资源组和独享数据服务资源组,需购买使用。独享资源组具备以下特点:

  • 支持扩容、缩容、规格变更等灵活配置。
  • 购买后将拥有该资源组的独立使用权。
  • 支持自行分配各资源组的项目绑定和任务使用情况。

1 费用说明

独享资源组支持包年包月模式,费用说明详情请参见资源组计费说明

2 适用场景

  • 适用于业务对任务执行时间、完成时间很敏感,需要强保障、时效性要求高的任务场景。
  • 线上业务较稳定,日调度任务较多时,包年包月拥有更高性价比,更划算。

3 使用限制

  • 仅租户主账号或具备 DataLeapFullAccess 权限的子账号才能购买独享资源组。
  • DataLeap 产品若仅开通大数据集成服务,暂不支持购买独享计算资源组

4 购买独享资源组

开通 DataLeap 产品服务后,公共资源组无需购买即可使用,独享资源组则需购买才能使用。

注意

由于 DataLeap 用户共享使用公共资源组,任务高峰期时无法保证任务及时执行完成,因此任务多或者有高优保障的任务需要运行时,建议购买独享资源组

购买独享资源组的步骤如下:

  1. 登录 DataLeap 控制台

  2. 选择资源组管理 > 独享资源组,进入独享资源组页面。

  3. 单击创建资源组按钮,进入创建资源组页面。
    图片

  4. 设置资源组信息,单击提交按钮后,根据页面提示支付费用,完成独享资源组的购买。
    创建独享资源组相关参数说明如下表所示。其中名称前带 * 的参数为必填参数,名称前未带 * 的参数为可选参数。

    参数

    说明

    基础信息

    *资源组类型

    购买的资源组类型,支持以下四种类型选项:

    • 独享数据集成:独享数据集成资源组,仅用于数据同步任务。
    • 独享任务计算:独享计算资源组,仅用于Notebook、Python、Shell任务类型。
    • 独享任务调度:独享调度资源组,用于生成调度实例。
    • 独享数据服务:独享数据服务资源组,用于API调用。

    *区域

    当前 DataLeap 服务所属的地域信息,默认为开通 DataLeap 服务时选择的区域,此处不可编辑。

    说明

    若开通了多个区域,可通过页面顶端导航栏的区域下拉框选择靠近您业务的区域。

    *可用区

    指同一地域中电力、网络隔离的物理地域,支持可用区A和可用区B两个选项。
    资源组类型选择独享数据集成独享任务计算时,需设置该参数。

    说明

    在同一私有网络内,可用区之间内网互通。

    *资源组名称

    资源组的名称,自行设定,一旦设定不可更改。
    名称必须以数字或字母开始和结尾,支持包含数字、下划线_、小写字母a-z,且长度需为3~50个字符。

    资源组备注

    输入资源组说明信息,方便后续使用管理。

    资源配置

    *资源规格

    • 独享数据集成:仅支持 1 vCPU 4 GiB。
    • 独享任务计算:支持 4 vCPU 16 GiB、8 vCPU 32 GiB16 vCPU 64 GiB32 vCPU 128 GiB 共 4 种规格。
    • 独享任务调度:支持 4CU: 16并发8CU: 32并发16CU: 64并发32CU: 128并发共 4 种规格。
    • 独享数据服务:支持 API-500API-1000API-2000 共 3 种规格。在特定的调用规则下,三种资源规格分别可支持每秒500、1000 和 2000个请求。

    规格计费详情请参见资源组计费说明

    *资源数量

    购买资源组的数量,按需设置。
    不同资源规格可以购买的数量限制不同,如下:

    • 独享数据集成:数量限制为4~1000台,输入值需为4的倍数。
    • 独享任务计算/独享任务调度
      • 4 vCPU 16 GiB / 4CU: 16并发规格:数量限制为1~50台。
      • 8 vCPU 32 GiB / 8CU: 32并发规格:数量限制为1~25台。
      • 16 vCPU 64 GiB / 16CU: 64并发规格:数量限制为1~12台。
      • 32 vCPU 128 GiB / 32CU: 128并发规格:数量限制为1~6台。
    • 独享数据服务:每种规格的数量限制为1~50台。

    规格计费详情请参见资源组计费说明

    付费信息

    *计费类型

    包年包月。

    *计费周期

    您可以选择一次性购买的周期,或者勾选自动续费按钮,系统在一轮周期到期后,按月进行自动续费。

    配置信息

    *TOS对象存储

    用于资源组运行集成任务时的日志存储,下拉可选已创建的存储。如现有存储不符合您的要求,可以前往 TOS 创建。
    资源组类型选择独享数据集成时,需设置该参数。

    *私有网络

    选择数据源或任务需访问资源所在的私有网络。如现有私有网络不符合您的要求,请前往控制台创建私有网络
    资源组类型选择独享数据集成独享任务计算时,需设置该参数。

    *子网

    选择VPC下对应可选的子网信息。如现有子网不符合您的要求,需前往子网控制台创建子网
    资源组类型选择独享数据集成独享任务计算时,需设置该参数。

    *安全组

    选择挂载在VPC下的安全组信息。如现有安全组不符合您的要求,需前往安全组控制台创建安全组
    资源组类型选择独享数据集成独享任务计算时,需设置该参数。

    *私有网络ID

    填写在数据服务页面配置的私有网络ID信息。相关配置说明请参见 VPC配置
    资源组类型选择独享数据服务时,需设置该参数。

    *辅助网卡ID

    填写在数据服务页面配置的辅助网卡ID信息。相关配置说明请参见公网配置
    资源组类型选择独享数据服务时,需设置该参数。

    *私网ID

    填写在数据服务页面配置的私有网络ID信息。相关配置说明请参见公网配置
    资源组类型选择独享数据服务时,需设置该参数。

    *公网IP

    填写在数据服务页面配置的公网IP信息。相关配置说明请参见公网配置
    资源组类型选择独享数据服务时,需设置该参数。

5 管理独享资源组

独享资源组包含独享集成资源组、独享计算资源组、独享调度资源组和独享数据服务资源组。在当前区域下创建的独享资源组会分别展示在相应页面,您可按需对其进行删、查、续费等管理操作。

5.1 管理独享集成资源组

  1. 登录 DataLeap 控制台
  2. 选择资源组管理 > 独享资源组 > 独享集成资源组,进入独享集成资源组页面。
    图片
  3. 可执行以下管理操作:
    • 搜索资源组
      设置搜索信息,可以查看符合条件的资源组列表。
    • 查看资源组详情
      1. 单击资源组名称,进入资源组详情页面。
      2. 可以查看购买的资源组配置、付费信息、网络配置信息等,并执行以下操作:
        • 单击付费信息栏的订单号,查看购买资源组的订单号信息。
        • 单击付费信息栏的续费按钮,可以按需为该资源组续费。
    • 运行实例
      单击某条资源组信息操作列的运行实例按钮,在弹出的侧拉窗口中,可以查看绑定该资源组的任务运行实例列表。
    • 项目绑定
      单击某条资源组信息操作列的 ... > 项目绑定按钮,在弹出的侧拉窗口中,可以查看租户下已有项目列表并按需绑定/解绑项目。
    • 使用率监控
      单击某条资源组信息操作列的 ... > 使用率监控按钮,在弹出的侧拉窗口中,可以查看不同时间段内该资源组的CPU利用率和Memory利用率。
    • 扩容
      单击某条资源组信息操作列的 ... > 扩容按钮,在弹出的侧拉窗口中,增加资源数量后,单击立即扩容按钮进行付费扩容操作。

      说明

      扩容付费时,会按照原有的到期时间计算差价。

    • 缩容
      单击某条资源组信息操作列的 ... > 缩容按钮,在弹出的侧拉窗口中,减少资源数量后,单击立即缩容按钮进行退费缩容操作。

      说明

      • 缩容操作会减少资源容量,如果您有任务使用的资源多于缩容后的资源容量,缩容之后会导致任务无法提交,请谨慎操作。
      • 缩容退费时,会按照原有的到期时间计算差价。
    • 退订
      1. 单击某条运行中的资源组信息操作列的 ... > 退订按钮,系统检查资源组的依赖情况,若该资源组上无任务运行,则弹出确认退订对话框。
      2. 单击确定按钮,进入退订页面,确认无误后,即可提交申请完成退订。

      说明

      • 退订后资源会释放,且不可恢复。
      • 若资源组关联了已上线任务,则需根据系统提示先停止任务再进行退订。
    • 续费
      单击运行中的资源组操作列的续费按钮,可以按需为该资源组续费。
    • 删除资源组
      单击创建失败、已释放或已退订状态下的资源组操作列的删除按钮,二次确认后,可以删除该资源组。

说明

  • 主账号可管理所有人创建的独享集成资源组,子账号仅可管理自己创建的资源组。
  • 仅新版数据集成资源组支持扩容、运行实例、项目绑定等高级功能,若老版资源组需要升级,可联系火山引擎客服。

5.2 管理独享计算资源组

  1. 登录 DataLeap 控制台
  2. 选择资源组管理 > 独享资源组 > 独享计算资源组,进入独享计算资源组页面。
    图片
  3. 可执行以下操作:
    • 搜索资源组
      设置搜索信息,可以查看符合条件的资源组列表。

    • 查看资源组详情

      1. 单击资源组名称,进入资源组详情页面。
      2. 可以查看购买的资源组配置、付费信息、网络配置信息等,并执行以下操作:
        • 单击付费信息栏的订单号,查看购买资源组的订单号信息。
        • 单击付费信息栏的续费按钮,可以按需为该资源组续费。
    • 续费
      单击运行中或运行失败的资源组操作列的续费按钮,可以按需为该资源组续费。

    • 修改镜像配置
      单击某条资源组信息操作列的修改镜像配置按钮,在弹出的窗口中,修改镜像配置信息后,单击确定按钮完成配置。

      注意

      • 一个镜像仓库可以绑定多个资源组。
      • 更改网络配置或者镜像配置可能导致使用该计算资源组的任务运行失败,请谨慎修改。

      修改镜像配置的相关参数说明如下表所示。

      参数

      说明

      镜像仓库地址

      该资源组的镜像仓库访问地址,可使用第三方镜像地址、火山镜像仓库地址,如 dt1-cn-beijing.cr.volces.com。
      若无合适的镜像仓库地址,可单击创建镜像,跳转到镜像仓库平台,创建并管理仓库实例。相关操作说明可参见创建标准版实例推送和拉取镜像

      用户名

      创建镜像仓库实例的用户名。
      在对应的仓库实例页面,可以查看用户名(username)。

      密码

      镜像仓库实例的登录密码。
      在对应的仓库实例页面,可以修改该密码。

      注意

      请确保密码输入正确,否则会导致绑定的任务运行失败。

    • 变更资源配置

      1. 单击运行中的资源组操作列的变更资源配置按钮,弹出变更资源配置侧拉窗口。
      2. 修改资源规格、数量等信息后,单击提交按钮。
      3. 根据页面提示完成付费操作。

      说明

      付费时,会按照原有的到期时间计算差价,多退少补。

    • 删除资源组
      单击创建失败或已释放状态下的资源组操作列的删除按钮,二次确认后,可以删除该资源组。

说明

仅主账号可以管理已创建的独享计算资源组。

5.3 管理独享调度资源组

  1. 登录 DataLeap 控制台
  2. 选择资源组管理 > 独享资源组 > 独享调度资源组,进入独享调度资源组页面。
    图片
  3. 可执行以下操作:
    • 搜索资源组
      设置搜索信息,可以查看符合条件的资源组列表。
    • 查看资源组详情
      1. 单击资源组名称,进入资源组详情页面。
      2. 可以查看购买的资源组配置、付费信息、网络配置信息等,并执行以下操作:
        • 单击付费信息栏的订单号,查看购买资源组的订单号信息。
        • 单击付费信息栏的续费按钮,可以按需为该资源组续费。
    • 续费
      单击运行中或运行失败的资源组操作列的续费按钮,可以按需为该资源组续费。
    • 变更资源配置
      1. 单击运行中的资源组操作列的变更资源配置按钮,弹出变更资源配置侧拉窗口。
      2. 修改资源规格、数量等信息后,单击提交按钮。
      3. 根据页面提示完成付费操作。

      说明

      付费时,会按照原有的到期时间计算差价,多退少补。

    • 删除资源组
      单击创建失败或已释放状态下的资源组操作列的删除按钮,二次确认后,可以删除该资源组。

说明

仅主账号可以管理已创建的独享调度资源组。

5.4 管理独享数据服务资源组

  1. 登录 DataLeap 控制台
  2. 选择资源组管理 > 独享资源组 > 独享数据服务资源组,进入独享数据服务资源组页面。
    图片
  3. 可执行以下操作:
    • 搜索资源组
      设置搜索信息,可以查看符合条件的资源组列表。
    • 查看资源组详情
      1. 单击资源组名称,进入资源组详情页面。
      2. 可以查看购买的资源组配置、付费信息、网络配置信息等,并执行以下操作:
        • 单击付费信息栏的订单号,查看购买资源组的订单号信息。
        • 单击付费信息栏的续费按钮,可以按需为该资源组续费。
    • 续费
      单击运行中或运行失败的资源组操作列的续费按钮,可以按需为该资源组续费。
    • 扩容
      单击某条运行中的资源组信息操作列的扩容按钮,在弹出的侧拉窗口中,增加资源数量后,单击立即扩容按钮进行付费扩容操作。

      说明

      扩容付费时,会按照原有的到期时间计算差价。

    • 退订
      1. 单击某条运行中的资源组信息操作列的 ... > 退订按钮,系统检查资源组的依赖情况,若该资源组上无任务运行,则弹出确认退订对话框。
      2. 单击确定按钮,进入退订页面,确认无误后,即可提交申请完成退订。

6 后续操作

处于运行中状态的资源组可绑定到对应项目后,使用于不同的任务场景。

  • 独享集成资源组:用于集成同步任务运行所需的资源组,通过该资源组来实现各数据源之间的数据传输。
  • 独享计算资源组:用于Notebook、Python、Shell等任务的独享计算资源。
  • 独享调度资源组:用于生成调度实例。

项目绑定资源组的详细操作说明请参见创建项目修改项目配置信息