You need to enable JavaScript to run this app.
导航
大数据研发治理套件
  • 文档首页
    • /
  • 大数据研发治理套件

资源库

最近更新时间：2024.03.19 15:54:10

首次发布时间：2021.09.14 11:21:01

我的收藏

1 概述

在任务开发过程中，往往会使用一些函数。在创建函数之前，您需要在数据开发 > 任务开发 > 资源库中，根据项目绑定的 E-MapReduce（EMR）、湖仓一体分析服务（LAS）、流式计算 Flink 版（Serverless Flink）引擎或通用（Shell/Python）引擎来创建资源，上传资源包。

  • 如果代码或函数中需要使用 .Jar 等资源文件，您可以引用已上传的资源文件。
  • 如果内置函数无法满足您的需求，也支持通过资源包创建自定义函数。同时，也可以基于资源文件，定义和创建1个或者多个函数，在开发时进行引用实现个性化逻辑处理。同一个资源，可以被多个函数复用。

2 使用前提

  1. DataLeap 产品需开通 DataOps敏捷研发、大数据分析、数据开发特惠版或分布式数据自治服务后，才可绑定 EMR、流式计算 Flink 引擎。绑定引擎操作详见：新建项目。
  2. EMR Doris、EMR StarRocks 集群类型，暂不支持创建相应资源。

3 功能介绍

3.1 新建资源

  1. 进入资源库页面
    1. 登录DataLeap租户控制台。
    2. 在概览界面，显示加入的项目中，单击数据开发进入对应项目。
    3. 在左侧导航栏单击资源库进入。
  2. 进入资源库后，您可任意通过以下三种方式来新建资源：
    图片
    您也可以在对应的引擎实例下新建子目录文件夹，通过不同子目录来分类管理不同的资源类型。
  3. 进入新建资源界面，按需选择要绑定的引擎参数：

参数

说明

关联信息

引擎绑定

支持选择 LAS、EMR、流式计算 Flink 版、通用，四种引擎类型绑定。
其中通用引擎资源类型，可供 Shell/Python 任务引用。

关联实例

不同引擎绑定关联对应的实例：

  • LAS引擎：默认关联 default 实例。
  • EMR 引擎：默认关联项目绑定时的 EMR 实例。
  • 流式计算 Flink 引擎：默认关联项目绑定时的流式计算 Flink 实例。
  • 通用引擎无需绑定引擎实例。

关联Schema

LAS 引擎下需选择对应实例下的 LAS Schema 库。

保存至

资源上传后的文件路径。

基本信息

资源名称

输入资源名称，只允许数字、字母、下划线、-和.组成，且需在 255 个字符以内。

注意

相同引擎类型下，不能和已创建成功的资源名称重复。

资源描述

输入资源描述信息，方便后续管理。

资源类型

  • 流式计算 Flink 的引擎类型，资源支持 Jar 类型。
  • LAS、EMR、通用的引擎类型，资源支持 Jar、File、Zip 类型。

资源来源

  • LAS 引擎支持三种资源来源方式：本地上传、引用LAS已上传资源和制品仓库的方式。
  • EMR、流式计算 Flink、通用引擎支持本地上传和制品仓库的来源方式。

资源文件

本地上传和引用LAS已上传资源的方式，可直接添加资源文件：

  • 本地上传：
    • 文件名只能由数字、字母、下划线、-和.组成。
    • 单个上传文件大小建议在300M以内。
  • 引用 LAS 已上传资源：支持选择在 LAS 控制台数据管理中上传的 Jar 类型资源，详见：资源管理。

注意

EMR 的引擎类型，上传的资源文件不允许存在同名的资源文件。

资源来源方式为制品仓库时，需填写以下仓库信息：

仓库名称

下拉选择已在制品仓库中，已创建好的 Generic 制品格式仓库名称。详见创建 Generic 仓库。

制品名称

下拉选择在对应的仓库名称中，已上传的制品名称信息。

版本

选择需要添加的资源版本。

资源路径

输入资源路径信息，资源路径 = 文件相对路径(相对于 SCM 产物目标目录) + 文件完整名称
例: file.tar.gz(解压之后是 build/flie.jar)，资源路径 = ./build/file.jar

  1. 参数配置完成后，单击确定按钮，即新建资源成功。

3.2 查找资源

  1. 进入资源库。
  2. 左上角选择 LAS、EMR、流式计算 Flink 版、通用等引擎类型及实例类型，如引擎类型选择 EMR，关联实例ID选择如emr-xxx。
  3. 在搜索输入框中，输入资源名称/责任人关键字进行搜索。
    图片

3.3 查看编辑资源

  1. 鼠标悬浮资源名称时：可显示资源简介，内容包含资源类型、创建人，创建时间，最近修改时间等信息。

  2. 鼠标单击资源名称时：可显示资源详情，并且可编辑以下部分资源配置信息，具体包括：

    资源绑定引擎类型

    可修改参数

    说明

    LAS、EMR、流式计算 Flink、通用

    资源描述

    可修改资源描述说明，方便后续的管理。

    责任人

    可修改资源责任人。

    资源文件

    1. 单击右侧的删除按钮。
    2. 单击单击上传按钮，再次上传新的资源文件。

    制品仓库信息

    可按需修改制品仓库相关的仓库名称、制品名称、版本、资源路径等信息。

3.4 复制资源

EMR、通用引擎类型的资源支持复制操作，将已创建的资源，进行相互复制，直接复制到 EMR 或通用引擎类型下，具体操作说明如下：

  1. 可在资源列表，单击资源名称 > 右侧更多操作 > 单击复制按钮，进行资源复制操作。
  2. 在弹窗中，您可选择将原资源复制到指定的 EMR 或通用引擎下，并指定目标资源名称、目标资源存放目录等信息。

图片

3.5 删除资源

在资源列表，单击资源名称 > 右侧更多操作 > 单击删除， 在删除弹窗中单击删除按钮，即可删除资源文件。

注意

若该资源已被某个函数或某个任务引用，则会提示存在依赖函数或依赖任务，需先解除引用再删除资源。

3.6 移动资源

单击资源名称 > 右侧更多操作 > 单击移动，可以移动资源至当前项目内当前引擎下的其他目录。

3.7 引用记录

  • 打开资源查看详情，单击右侧边栏引用记录， 列表显示展现已使用该资源的引用详情，您可以在搜索框中，根据任务名、责任人来搜索相关引用的任务或函数。
    • 引用任务：任务ID、任务名称、责任人。
    • 引用函数：函数名称、函数说明、责任人。
      图片