You need to enable JavaScript to run this app.
导航
大数据研发治理套件
  • 文档首页
    • /
  • 大数据研发治理套件

函数库

最近更新时间：2023.09.28 17:56:34

首次发布时间：2021.08.13 15:07:15

我的收藏

1 概述

  • 在数据开发过程中，因实际业务通常需要引用函数来完成部分场景的计算需求。平台提供了函数库，支持函数的查询、显示、引用、自定义创建等操作。

  • 函数库页面展示数据分为两部分：公共函数以及自定义函数。展示了不同引擎类型 E-MapReduce（EMR） 、湖仓一体分析服务 （LAS）、流式计算 Flink 版（Serverless Flink）的 内置函数以及当前项目下已创建的自定义函数。

  • LAS公共函数库：函数说明文档

2 使用前提

  1. DataLeap产品需开通 DataOps敏捷研发、大数据分析、数据开发特惠版或分布式数据自治 服务后，才可绑定 EMR、流式计算 Flink 引擎。绑定引擎操作详见：项目管理。

  2. 您需要先上传资源，通过引用资源，才可以创建和使用 自定义函数。

  3. EMR Doris、EMR StarRocks 集群类型，暂不支持创建函数。

3 功能介绍

3.1 新建函数

  1. 进入函数库页面

    1. 登录 DataLeap租户控制台 。

    2. 在概览界面，显示加入的项目中，单击数据开发进入对应项目。

    3. 在左侧导航栏单击函数库进入。

  2. 在自定义函数区，您可任意通过以下几种方式来新建函数：

    您也可以在创建自定义函数前，先新建子目录文件夹，通过不同子目录来分类管理不同的函数。

  3. 进入函数库，在自定义函数部分单击 + ，进入新建函数页面，根据不同绑定引擎创建函数：

参数说明
绑定引擎支持选择 LAS、EMR、流式计算 Flink 版。

关联实例

不同引擎绑定关联对应的实例：

  • LAS引擎：默认关联 default 实例。

  • EMR 引擎：默认关联项目绑定时的 EMR 实例。

  • 流式计算 Flink 引擎：默认关联项目绑定时的流式计算 Flink 实例。

保存至函数保存的文件目录。
函数名称输入函数名称，只允许由2-60个字符以内的数字、字母和_组成，并且以字母开头。
函数类名定义函数的类名。
函数描述输入函数描述内容，方便后续管理。

函数类型

  • LAS 引擎：

    • 离线数据类型：仅支持 UDF(用户定义函数)类型。

    • 流式数据类型：支持 UDF(用户定义函数)、UDTF(用户定义表生成函数)、UDAF(用户定义聚合函数) 三种类型

  • EMR、流式计算 Flink 引擎支持 UDF(用户定义函数)、UDTF(用户定义表生成函数)、UDAF(用户定义聚合函数) 三种类型。

资源下拉选择已创建的自定义函数，仅支持选择 Jar 资源。新建资源操作详见：资源库。
输入参数函数输入的参数类型说明。
输出参数函数输出的参数类型说明。
使用案例函数使用例子，方便其他用户在使用函数时，知道如何去使用。

数据类型

  • LAS/EMR 引擎支持流式、离线函数处理的数据类型。
  • 流式计算 Flink 引擎仅支持流式函数处理的数据类型。
  1. 参数填写完成后，单击确定按钮，即创建函数成功。

    注意

    EMR 引擎类型的函数创建成功后，您需前往 EMR 控制台 > 集群详情 > 服务列表 > Hive 服务中，重启 HiveServer2 组件服务，使函数生效。

  2. 您可在公共函数或自定义函数区，预览内置以及新创建的函数示例。

3.2 查找函数

  1. 进入函数库页面。

  2. 引擎选择框中，下拉选择 EMR、LAS、流式计算 Flink 版 等引擎类型及实例类型，例如引擎类型选择 EMR，实例类型选择 emr-xxx。

  3. 选择离线/实时的数据类型，输入函数名称关键字进行搜索，搜索结果按照公共函数及自定义函数分类显示。

3.3 查看引用函数

  1. 鼠标悬停到自定义函数名称时可显示函数详情，具体信息包括：

    • EMR引擎函数：仅显示函数名。

    • LAS、流式计算 Flink引擎函数：显示函数类名、描述、使用示例、最近修改时间等信息。

  2. 引用函数

    1. 先在任务开发 > 数据开发界面，打开任务编辑器界面，

    2. 切换到函数库，函数名称右侧单击引用函数按钮，将直接在编辑器内插入引用函数语句。下面以流式计算 Flink 版的实时函数引用为例：

3.4 编辑函数

项目成员在自定义函数库列表，单击函数名称，进入编辑界面 ，可以修改自定义函数的配置信息包括：

资源绑定引擎类型可修改参数说明

LAS、EMR、流式计算 Flink

函数类名

您可以修改定义函数的类名。

函数描述可修改资源描述说明，方便后续的管理。

函数类型

  • EMR、流式计算 Flink 引擎函数可支持修改UDF、UDTF、UDAF类型。

  • LAS引擎：

    • 离线类型函数目前仅支持UDF类型。

    • 流式类型函数支持修改UDF、UDTF、UDAF类型。

资源可修改引用的资源文件。
输入参数可修改函数输入的参数类型说明。
输出参数可修改函数输出的参数类型说明。
使用案例支持使用案例的修改更新。

3.5 删除函数

在自定义函数列表中，单击函数名称 > 右侧 更多操作 > 单击 删除，在删除弹窗中单击删除按钮，即可删除函数。

注意

若该函数已被某个已上线的任务使用，则需要先下线任务，再删除函数。

3.6 移动函数

单击函数名称 > 右侧 更多操作 > 单击移动，可以移动函数至当前项目内当前引擎下的其他目录。

3.7 引用记录

打开某个自定义函数，单击右侧边栏引用记录，列表展现引用任务和引用模板。
您可以看到已使用该函数的任务、模板详情，包括任务ID、任务名称、模板名称和责任人，您可以在搜索框中，根据任务名、模板名或责任人来搜索相关引用的任务。