You need to enable JavaScript to run this app.
最新活动
产品
解决方案
定价
生态与合作
支持与服务
开发者
了解我们
导航

资源库

最近更新时间2023.08.18 17:27:51

首次发布时间2021.09.14 11:21:01

1 概述

在任务开发过程中,往往会使用一些函数。在创建函数之前,您需要在数据开发 > 任务开发 > 资源库中,根据项目绑定的 E-MapReduce(EMR)、湖仓一体分析服务(LAS)、流式计算 Flink 版(Serverless Flink)引擎来创建资源,上传资源包。

  • 如果代码或函数中需要使用 .Jar 等资源文件,您可以引用已上传的资源文件。

  • 如果内置函数无法满足您的需求,也支持通过资源包创建自定义函数。同时,也可以基于资源文件,定义和创建1个或者多个函数,在开发时进行引用实现个性化逻辑处理。同一个资源,可以被多个函数复用。

2 使用前提

  1. DataLeap 产品需开通 DataOps敏捷研发、大数据分析、数据开发特惠版分布式数据自治服务后,才可绑定 EMR、流式计算 Flink 引擎。绑定引擎操作详见:新建项目
  2. EMR Doris、EMR StarRocks 集群类型,暂不支持创建相应资源。

3 功能介绍

3.1 新建资源

  1. 进入资源库页面

    1. 登录DataLeap租户控制台

    2. 概览界面,显示加入的项目中,单击数据开发进入对应项目。

    3. 在左侧导航栏单击资源库进入。

  2. 进入资源库后,您可任意通过以下三种方式来新建资源

您也可以在对应的引擎实例下新建子目录文件夹,通过不同子目录来分类管理不同的资源类型。

  1. 进入新建资源界面,按需选择要绑定的引擎参数:
参数说明
关联信息
引擎绑定支持选择 LAS、EMR、流式计算 Flink 版。

关联实例

不同引擎绑定关联对应的实例:

  • LAS引擎:默认关联 default 实例。

  • EMR 引擎:默认关联项目绑定时的 EMR 实例。

  • 流式计算 Flink 引擎:默认关联项目绑定时的流式计算 Flink 实例。

关联SchemaLAS 引擎下需选择对应实例下的 LAS Schema 库。
保存至资源上传后的文件路径。
基本信息

资源名称

输入资源名称,只允许数字、字母、下划线、-和.组成。

注意

相同引擎类型下,不能和已创建成功的资源名称重复。

资源描述输入资源描述信息,方便后续管理。

资源类型

  • 流式计算 Flink 的引擎类型,资源支持 Jar 类型。
  • LAS、EMR 的引擎类型,资源支持 Jar、File、Zip 类型。

资源来源

  • LAS 引擎支持两种资源来源方式:本地上传引用LAS已上传资源的方式。

  • EMR、流式计算 Flink 引擎仅支持本地上传的来源方式。

资源文件

  • 本地上传:

    • 文件名只能由数字、字母、下划线、-和.组成。

    • 单个上传文件大小建议在300M以内。

  • 引用LAS已上传资源:支持选择在 LAS 控制台数据管理中上传的 Jar 类型资源,详见:资源管理

注意

  • EMR 的引擎类型,上传的资源文件不允许存在同名的资源文件。
  1. 参数配置完成后,单击确定按钮,即新建资源成功。

3.2 查找资源

  1. 进入资源库。

  2. 左上角选择 LAS、EMR、流式计算 Flink 版等引擎类型及实例类型,如引擎类型选择 EMR,关联实例ID选择如emr-xxx。

  3. 在搜索输入框中,输入资源名称/责任人关键字进行搜索。

3.3 查看编辑资源

  1. 鼠标悬浮资源名称时:可显示资源简介,内容包含资源类型、创建人,创建时间,最近修改时间等信息。

  2. 鼠标单击资源名称时:可显示资源详情,并且可编辑以下部分资源配置信息,具体包括:

资源绑定引擎类型可修改参数说明

LAS、EMR、流式计算 Flink

资源描述

可修改资源描述说明,方便后续的管理。

责任人可修改资源责任人。

资源文件

  1. 单击右侧的删除按钮。

  2. 单击单击上传按钮,再次上传新的资源文件。

3.4 删除资源

在资源列表,单击资源名称 > 右侧更多操作 > 单击删除, 在删除弹窗中单击删除按钮,即可删除资源文件。

注意

若该资源已被某个函数或某个任务引用,则会提示存在依赖函数或依赖任务,需先解除引用再删除资源。

3.5 移动资源

单击资源名称 > 右侧更多操作 > 单击移动,可以移动资源至当前项目内当前引擎下的其他目录。

3.6 引用记录

  • 打开资源查看详情,单击右侧边栏引用记录, 列表显示展现已使用该资源的引用详情,您可以在搜索框中,根据任务名、责任人来搜索相关引用的任务或函数。
    • 引用任务:任务ID、任务名称、责任人。

    • 引用函数:函数名称、函数说明、责任人。