DataLeap 支持可视化创建 EMR、LAS、Flink 引擎以及通用引擎的资源。这些资源可用于创建自定义函数,或者被 Shell/Python 等任务引用,在数据开发过程中,通过引用资源能够提升任务开发效率。本文将为您介绍资源库的相关操作。
1 使用场景
在任务开发过程中,往往会使用一些函数。在创建函数之前,您需要在数据开发 > 任务开发 > 资源库中,根据项目绑定的 E-MapReduce(EMR)、湖仓一体分析服务(LAS)、流式计算 Flink 版(Serverless Flink)引擎或通用(Shell/Python)引擎来创建资源,上传资源包。可用于以下使用场景:
- 如果代码或函数中需要使用 .Jar 等资源文件,您可以引用已上传的资源文件。
- 如果内置函数无法满足您的需求,也支持通过资源包创建自定义函数。同时,也可以基于资源文件,定义和创建1个或者多个函数,在开发时进行引用实现个性化逻辑处理。同一个资源,可以被多个函数复用。
2 使用限制
- DataLeap 产品需开通 DataOps敏捷研发、大数据分析、数据开发特惠版或分布式数据自治服务后,才可绑定 EMR、流式计算 Flink 引擎。绑定引擎操作详见:新建项目。
- EMR Doris、EMR StarRocks 集群类型,暂不支持创建相应资源。
- 相同引擎类型下,不能和已创建成功的资源名称重复。
- 除 EMR、通用引擎类型的资源外,其余引擎资源暂不支持复制资源操作。
- 在 EMR Serverless Spark Java/Python 任务使用资源时,当前仍采用直接配置 TOS 路径的形式。因此,EMR Serverless Spark/Presto 引擎创建的资源,在资源库中仅起统一管理作用,暂时不支持在任务中直接引用。
3 功能介绍
3.1 新建资源
- 进入资源库页面
- 登录DataLeap租户控制台。
- 在具体项目中,单击 IDE 开发按钮,并在任务开发界面左侧导航栏中进入资源库。
- 进入资源库后,您可任意通过以下三种方式来新建资源:

您也可以在对应的引擎实例下新建子目录文件夹,通过不同子目录来分类管理不同的资源类型。 - 进入新建资源界面,按需选择要绑定的引擎参数:
配置项 | 说明 |
---|
关联信息 |
绑定引擎 | 选择 EMR 引擎绑定类型 |
关联实例 | 默认选择关联项目绑定时的 EMR Hadoop 集群实例 |
保存至 | 选择资源存储的文件路径。 |
基本信息 |
资源名称 | 输入资源名称,只允许数字、字母、下划线、-和.组成,且需在 255 个字符以内。 注意 相同引擎类型下,不能和已创建成功的资源名称重复。 |
资源描述 | 输入资源描述信息,方便后续管理。 |
资源类型 | EMR 的引擎类型,资源支持 Jar、File、Zip 类型。您可按需进行选择。 |
资源来源 | EMR 引擎支持本地上传来源方式。 |
资源文件 | 资源类型为 Jar、File、Zip 类型时,需上传资源文件,可通过本地上传的方式,直接添加资源文件: - 本地上传:
- 上传的资源文件名称只能由数字、字母、下划线、-和.组成。
- 单个上传文档大小建议在 300M 以内。
注意 - 相同项目中,EMR 引擎类型的同个资源文件不支持多次上传,会存在资源重名的情况。
- 任务代码中引用资源时,需使用资源文件名称来引用,如资源 A 的文件名称为 resource.py, 则代码中需使用
import resource 方式导入。
|
配置项 | 说明 |
---|
关联信息 |
绑定引擎 | 选择流式计算 Flink 版引擎绑定类型。 |
关联实例 | 默认关联项目绑定时的流式计算 Flink 实例。 |
保存至 | 选择资源存储的文件路径。 |
基本信息 |
资源名称 | 输入资源名称,只允许数字、字母、下划线、-和.组成,且需在 255 个字符以内。 注意 相同引擎类型下,不能和已创建成功的资源名称重复。 |
资源描述 | 输入资源描述信息,方便后续管理。 |
资源类型 | 流式计算 Flink 版的引擎类型,资源支持 Jar、File 类型。您可按需进行选择。 |
资源来源 | Jar、File 类型支持本地上传的来源方式。 |
资源文件 | 可通过本地上传的方式,直接添加资源文件: - 本地上传:
- 上传的资源文件名称只能由数字、字母、下划线、-和.组成。
- 单个上传文档大小建议在 300M 以内。
注意 - 相同项目中,流式计算 FLink 版引擎类型的同个资源文件不支持多次上传,会存在资源重名的情况。
- 任务代码中引用资源时,需使用资源文件名称来引用,如资源 A 的文件名称为 resource.py, 则代码中需使用
import resource 方式导入。
|
配置项 | 说明 |
---|
关联信息 |
绑定引擎 | 选择 EMR Serverless Spark/Presto 引擎绑定类型 |
关联实例 | 默认选择关联项目绑定时的 EMR Serverless Spark/Presto 集群实例 |
保存至 | 选择资源存储的文件路径。 |
基本信息 |
资源名称 | 输入资源名称,只允许数字、字母、下划线、-和.组成,且需在 255 个字符以内。 注意 相同引擎类型下,不能和已创建成功的资源名称重复。 |
资源描述 | 输入资源描述信息,方便后续管理。 |
资源类型 | EMR Serverless Spark/Presto 的引擎类型,仅支持上传 Jar 资源类型。 |
资源来源 | EMR Serverless Spark/Presto 引擎仅支持资源来源对象为对象存储(TOS)的文件,需在下方填写具体的 TOS 文件路径。如 tos://test-tos/spark-examples-1.8.jar |
配置项 | 说明 |
---|
关联信息 |
绑定引擎 | 选择通用引擎绑定类型,该类型可供 Shell/Python 任务引用。 |
保存至 | 选择资源存储的文件路径。 |
基本信息 |
资源名称 | 输入资源名称,只允许数字、字母、下划线、-和.组成,且需在 255 个字符以内。 注意 相同引擎类型下,不能和已创建成功的资源名称重复。 |
资源描述 | 输入资源描述信息,方便后续管理。 |
资源类型 | 通用引擎类型,资源支持 Jar、File 类型。您可按需进行选择。 |
资源来源 | 支持本地上传来源方式。 |
资源文件 | 资源类型为 Jar、File 类型时,需上传资源文件,可通过本地上传的方式,直接添加资源文件: - 本地上传:
- 上传的资源文件名称只能由数字、字母、下划线、-和.组成。
- 单个上传文档大小建议在 300M 以内。
注意 - 相同项目中,通用引擎类型的同个资源文件不支持多次上传,会存在资源重名的情况。
- 任务代码中引用资源时,需使用资源文件名称来引用,如资源 A 的文件名称为 resource.py, 则代码中需使用
import resource 方式导入。
|
配置项 | 说明 |
---|
关联信息 |
绑定引擎 | 选择 LAS 引擎绑定类型。 |
关联实例 | 选择关联项目绑定时的 default 实例 |
关联 Schema | 选择 LAS 引擎对应实例下已创建的 LAS Schema 库信息。 |
保存至 | 选择资源存储的文件路径。 |
基本信息 |
资源名称 | 输入资源名称,只允许数字、字母、下划线、-和.组成,且需在 255 个字符以内。 注意 相同引擎类型下,不能和已创建成功的资源名称重复。 |
资源描述 | 输入资源描述信息,方便后续管理。 |
资源类型 | 通用引擎类型,资源支持 Jar、File、Zip 类型。您可按需进行选择。 |
资源来源 | 支持选择本地上传和引用 LAS 已上传资源的方式。 |
资源文件 | 资源类型为 Jar、File、Zip 类型时,需上传资源文件,可通过本地上传的方式,直接添加资源文件: - 本地上传:
- 上传的资源文件名称只能由数字、字母、下划线、-和.组成。
- 单个上传文档大小建议在 300M 以内。
- 引用 LAS 已上传资源:支持选择在 LAS 控制台数据管理中上传的 Jar 类型资源,详见:资源管理。
注意 - 相同项目中,通用引擎类型的同个资源文件不支持多次上传,会存在资源重名的情况。
- 任务代码中引用资源时,需使用资源文件名称来引用,如资源 A 的文件名称为 resource.py, 则代码中需使用
import resource 方式导入。
|
- 参数配置完成后,单击确定按钮,即新建资源成功。
3.2 查找资源
- 进入资源库。
- 左上角选择 LAS、EMR、EMR Serverless Spark/Presto、流式计算 Flink 版、通用等引擎类型及实例类型,如引擎类型选择 EMR,关联实例ID选择如emr-xxx。
- 在搜索输入框中,输入资源名称/责任人关键字进行搜索。

3.3 查看编辑资源
鼠标悬浮资源名称时:可显示资源简介,内容包含资源类型、创建人,创建时间,最近修改时间等信息。
鼠标单击资源名称时:可显示资源详情,并且可编辑以下部分资源配置信息,具体包括:
可修改参数 | 说明 |
---|
资源描述 | 可修改资源描述说明,方便后续的管理。 |
责任人 | 可修改资源责任人。 |
资源文件 | LAS、EMR、流式计算 Flink、通用引擎修改操作: - 单击右侧的删除按钮。
- 单击单击上传按钮,再次上传新的资源文件。
说明 在流式计算 Flink 版引擎中,若删除旧资源文件后重新上传同名资源时,在 Flink 中旧资源文件实际上不会被删除。
新旧资源文件名默认会按照序列标识递增,并且在任务手动重启前或者是系统自动重启时,仍然会使用旧资源文件来执行任务,这样可避免历史任务失败;而当任务重新提交并手动重启之后,就会使用新的资源文件执行任务。
Flink 引擎下不同任务所使用的新旧资源文件版本,当前可通过查看任务执行日志中的资源文件名称来加以区分。 |
TOS 文件链接 | EMR Serverless Spark/Presto 引擎可修改 TOS 文件链接。 |
制品仓库信息 | 可按需修改制品仓库相关的仓库名称、制品名称、版本、资源路径等信息。 |
3.4 复制资源
EMR、通用引擎类型的资源支持复制操作,将已创建的资源,进行相互复制,直接复制到 EMR 或通用引擎类型下,具体操作说明如下:
- 可在资源列表,单击资源名称 > 右侧更多操作 > 单击复制按钮,进行资源复制操作。
- 在弹窗中,您可选择将原资源复制到指定的 EMR 或通用引擎下,并指定目标资源名称、目标资源存放目录等信息。

3.5 删除资源
在资源列表,单击资源名称 > 右侧更多操作 > 单击删除, 在删除弹窗中单击删除按钮,即可删除资源文件。
注意
若该资源已被某个函数或某个任务引用,则会提示存在依赖函数或依赖任务,需先解除引用再删除资源。
3.6 移动资源
单击资源名称 > 右侧更多操作 > 单击移动,可以移动资源至当前项目内当前引擎下的其他目录。
3.7 引用记录
打开资源查看详情,单击右侧边栏引用记录, 列表显示展现已使用该资源的引用详情,您可以在搜索框中,根据任务名、责任人来搜索相关引用的任务或函数。
说明
在 EMR Serverless Spark/Presto 引擎下的资源:
由于当前在任务中使用资源时,依旧采用配置 TOS 路径的形式,所以 EMR Serverless Spark/Presto 引擎资源暂无引用任务相关的记录。

- 引用任务:任务ID、任务名称、责任人。
- 引用函数:函数名称、函数说明、责任人。
