某业务团队希望对组内产出的所有数据资产进行结构化的整理，围绕具体支撑的业务、解决的问题、实现的功能等分门别类的进行组织，即可使用资产目录和资产专辑形成本业务的资产门户。
资产门户的建立，一方面可以有效将散落在各处的数据，统一组织管理起来；另一方面，也方便数据消费用户体系化的进行数据查阅，提升数据检索效率。
资产目录的整体使用流程如下：

元数据采集 #

在使用数据地图的数据资产目录前，您需要接入对应数据库元数据。DataLeap 支持接入的元数据类型包括LAS、MySQL、ByteHouse CE、TOS、LasFS等。采用统一的模板接入各数据源，通过采集与同步操作，完成元数据的接入工作。
开通LAS、ByteHouse CE、TOS或LasFS服务后，数据地图会自动创建采集器，采集并同步相应的元数据，无需手动操作。其他类型的数据则需要手动采集，下面将为您介绍如何采集与同步元数据。

新建采集器 #

1. 登录DataLeap控制台。

2. 选择概览 > 数据地图 > 元数据采集，进入元数据采集页面。

3. 单击左侧导航栏的元数据类型，进入相应的数据类型采集页面。

4. 单击新建采集器按钮，弹出新建采集器窗口。
   

5. 根据页面提示操作，设置采集信息并依次单击下一步按钮。
   新建采集器相关参数说明如下表所示。

   参数	说明
   *采集类型	支持MiniBase Hive、Doris、LAS、MySQL、ByteHouse CE、EMR StarRocks、Azure Blob、GaussDB、GBase、OceanBase(Mysql)、OceanBase(Oracle)、Oracle、逻辑数据实体、Greenplum、Apache Hive、Databricks等多种类型选项。
   采集对象
   *采集器名称	数据采集器的名称，自行设定，仅支持由中文、英文字母、数字或下划线组成。
   采集器描述	对采集器的描述信息。
   采集类型	显示当前选择的类型，不可编辑。
   *采集方式	采集元数据的方式。 当采集类型选择MySQL、GBase、Oracle、OceanBase(Mysql) 或 OceanBase(Oracle) 时**，仅支持自定义模板**，即根据自动生成的采集模板填写。 当采集类型选择MiniBase Hive、Doris、LAS、Greenplum、GaussDB、Apache Hive、ByteHouse CE、EMR StarRocks、Databricks、Azure Blob、SqlServer或GBase8a 时，仅支持直接连接。 当采集类型选择逻辑数据实体时，仅支持上传文件。
   *集群	连接数据源的集群信息。 当采集类型选择MiniBase Hive、Doris、LAS、Greenplum、GaussDB、Apache Hive、EMR StarRocks、Databricks、ByteHouse CE、SqlServer或GBase8a 时，下拉可选已注册的相应集群。 说明 一个集群只可创建一个采集器。已创建过采集器的集群将灰显展示在下拉列表中，不可选择。 支持快捷模式和安全模式两类集群选项。 快捷模式：使用集群服务账号访问集群。 安全模式：使用任务责任人账号映射的集群账号访问集群。 GaussDB采集器支持“JDBC连接串追加参数信息”，相关配置说明可参见DWS集群管理。
   源连接信息	连接数据源的信息，自动填充示例信息，根据实际情况修改相应的参数值。示例如下： host=127.0.0.1 port=3306 database=database schema=schema1 user=root password=1234 说明 当采集类型选择MySQL、GBase、OceanBase(Mysql) 、OceanBase(Oracle) 或 Oracle 时，需设置该参数。 采集器与源连接信息是一对一的关系。 Oracle 采集器支持“Oracle SID方式”采集，即配置时可多配置一个字段 connectionType，如 connectionType=SERVICE_NAME。
   *账户	存储账户（storage）的名称，用户从Azure平台获取后填写（示例：dataleapdatalakegen3test），不可与已有的采集器对应的账户重复。 说明 当采集类型选择Azure Blob时，需设置该参数。
   *SAS TOKEN	即指访问密钥。共享访问签名 (SAS) 提供对存储账户中资源的安全委托访问。通过SAS Token对账户SAS授权并获取对应账户下的Blob元信息访问权限。 SAS TOKEN由用户从Azure平台获取后填写，示例如下： sv=2021-10-04&ss=btqf&srt=sco&st=2023-03-28T05%3A57%3A14Z&se=2023-04-29T05%3A57%3A00Z&sp=rl&sig=xxxxx 说明 当采集类型选择Azure Blob时，需设置该参数。
   *文件	系统将从上传文件中采集对应数据，生成自定义数据。 请下载逻辑数据实体模版，并按照模板中的示例进行内容填写。您也可在维护资产中通过登记逻辑实体资产完成采集。 说明 当采集类型选择逻辑数据实体时，需设置该参数。 支持的文件类型：.xlsx。 默认第一行为表头，系统将从第二行开始，进行内容解析。 若上传文件中，字段列内容为空，系统将认为该列不存在，继续进行内容解析。
   授权管理
   *授权检查	勾选授权信息，授权数据地图使用所填存储账户中的元数据。 授权信息为“我同意Dataleap数据地图产品获取所选集群的元数据，并供当前租户下的账号查询使用”。
   采集配置
   表过滤规则	通过输入正则表达式，设置数据表过滤规则。 设置规则后，采集元数据时将只采集符合过滤规则的目标数据。 说明 当采集类型选择MySQL、GaussDB、GBase、OceanBase(Mysql)、OceanBase(Oracle)、EMR StarRocks、Oracle或SqlServer时，可设置该参数。
   Schema过滤规则	通过输入正则表达式，设置 Schema 过滤规则。 设置规则后，采集元数据时将只采集符合过滤规则的目标数据。 注意 当采集类型选择 GaussDB、Oracle 或 SqlServer 时，可设置该参数。 若您只想保留某几个 schema 的元数据，则应先删除相应的采集器并清空已采集的元数据，再新建配置过滤规则绑定所需 schema 的采集器。
   库过滤规则	通过输入正则表达式，设置数据库过滤规则。 设置规则后，采集元数据时将只采集符合过滤规则的目标数据。 说明 当采集类型选择 MySQL 时，可设置该参数。
   容器过滤规则	通过输入正则表达式，设置存储账户中容器的过滤规则。 设置规则后，采集元数据时将只采集符合过滤规则的目标数据。 说明 当采集类型选择Azure Blob时，可设置该参数。
   调度配置
   *执行方式	同步元数据的方式。 除MiniBase Hive、LAS、Apache Hive外的其他类型支持调度执行和手动执行两个选项。 调度执行：根据设置的执行频率和时间，自动执行同步操作。 手动执行：人工手动执行同步操作。 MiniBase Hive、LAS、Apache Hive仅支持实时更新，即采集器会自动实时更新增量元数据。 说明 当采集类型选择逻辑数据实体时，仅支持手动执行调度。 当执行方式为实时更新时，采集器创建后，需先手动执行一次全量同步历史元数据。
   *调度频率	调度执行元数据同步的频率，支持每天执行和每小时执行两个选项。 说明 当执行方式选择调度执行时，需配置该参数。 当采集数据量过大时，建议选择按天执行。
   *执行时间	调度执行元数据同步的时间。 说明 当执行方式选择调度执行时，需配置该参数。

6. 设置完成后，单击完成按钮，完成采集器创建。

手动采集元数据 #

首次创建完元数据采集器后，您可通过手动采集元数据方式，对数据进行第一次采集动作，将数据信息全量或指定库表的形式采集到数据地图中。

1. 在元数据采集页面。
2. 单击左侧导航栏的元数据类型，进入相应的数据类型采集页面。
3. 单击列表中要同步信息操作列的执行按钮，弹出执行窗口。
   
4. 设置执行范围后，单击确定按钮，可以将元数据手动同步至DataLeap。
   • 全量：把目标源中的所有元信息同步更新一次。
   • 指定范围：同步指定库表的元数据。选择该选项后，需输入要同步的数据表名称。

数据检索 #

全量元数据采集执行完成后，您便可在数据检索界面，单击具体数据资产类型，您便可进入看到元数据采集成功的库表信息。

业务线管理 #

元数据采集完成，数据检索信息校验无误后，便可进行后续的业务线相关配置操作。您可以创建业务线，并在业务线下进行分类管理、资产管理等配置操作。

创建业务线 #

1. 选择数据地图 > 管理中心 > 业务线管理，进入业务线管理页面。
   

2. 单击新建业务线按钮，在弹出的窗口中，设置业务线信息后，单击确定按钮完成新建。

   参数	说明
   *业务线名称	业务线的名称，自行设定，一旦设定不可更改。 支持汉字、字母、数字、下划线“_”、短横线“-”、空格，且仅可由汉字、字母或数字开头。
   *描述	业务线描述信息。
   *管理员	业务线管理员，默认为当前用户，支持设置多个。 成为业务线管理员之后，将拥有业务线下的所有功能权限。
   强制建模规范	可选择该业务线下建表时是否强制建模规范。 若选择是，则在建表时的数据层级、建模规范类目、存储策略为必填项，表名称会自动增加相应的前缀、后缀信息。
   业务线数据层级	业务线包含的数据层级，下拉可选以下选项，支持多选。支持通过搜索层级名称关键词快速选择。 基础数据层（ods） 数据整合层（dwi） 基础维度层（dim） 明细数据层（dwd） 中间数据层（dwm） 数据服务层（dws） 数仓应用层（dwa） 数据集市层（dm） 应用服务层（ads） 应用层（app）
   资产目录默认排序	资产目录的默认排序规则。 在资产目录模块，搜索返回结果后，默认按照指定设置进行排序。
   已发布资产管理策略	可选择是否允许编辑或分类。 启用后，已发布资产支持手动直接编辑、分类和直接发布，否则必须下架后才允许编辑和分类。
   资产目录展示资产及顺序	用户可按需选择，在资产目录页面是否展示对应资产类型及其展示顺序。若为空，则默认跟随系统设置。

新增数据分类 #

业务线创建完成后，您需在当前业务线下进行数据分类操作，用于展示数据资产的文件目录。

1. 选择资产管理 > 基础管理 > 类目管理 > 数据分类，进入数据分类页面。
   

2. 在页面右上角的业务线下拉框中，选择要管理的业务线。

3. 单击新增分类按钮，在弹出的窗口中，设置分类信息后，单击确定按钮完成新增。
   

   参数	说明
   *类目类型	该分类的类型，支持综合类目、自定义类目和模型规范类目三个选项，下拉可选。
   上级分类	该分类的上一级分类，下拉可选。 如果上级分类为空，则当前创建的即为一级分类。
   指定资产类型	该分类下指定的资产类型，支持当前已支持的多种类型选项，下拉可选，可多选。 说明 仅当类目类型为自定义类目时，需设置该参数。
   *分类名	分类的名称，同级分类下不可重名。 支持汉字、字母、数字、下划线“_”、短横线“-”、空格，且仅可由汉字、字母或数字开头。
   英文名	分类的英文名称。 仅支持英文字母、数字、下划线。
   *英文缩写	分类名称的英文缩写，在同一层级下不可重名。 仅支持英文字母、数字、下划线。
   描述	分类的描述信息，按需填写。
   *分类管理员	分类的管理员，可输入账号关键词下拉选择，可设置多个。
   业务Owner	业务负责人。待后续跟审批流打通后，该参数才起作用。
   类目审批人	该分类上架资产目录的审批人。待后续跟审批流打通后，该参数才起作用。
   *是否强制表命名	可选择是否强制表命名。 若选择是，则在Table管理页面建表时，选择对应的分类后，表名会自动加上该分类的英文缩写。 说明 仅当类目类型为模型规范类目时，需设置该参数。
   关联数据层级	业务线数据分类关联的表数据层级，支持以下选项，下拉可选，可选择多个。 基础数据层（ods） 数据整合层（dwi） 基础维度层（dim） 明细数据层（dwd） 中间数据层（dwm） 数据服务层（dws） 数仓应用层（dwa） 数据集市层（dm） 应用服务层（ads） 应用层（app） 说明 仅当类目类型为模型规范类目时，需设置该参数。
   *是否启用	可选择是否启用该分类。

资产圈选 #

通过资产圈选功能，可按需新建当前业务线的资产圈选策略，系统将按照圈选中设置的条件，将匹配的资产自动归属到当前业务线。
仅业务线管理员可进行资产圈选。

1. 选择资产管理 > 上下架管理 > 资产圈选，进入资产圈选页面。
   

2. 单击新建圈选按钮，进入新建圈选页面，设置相关信息后，单击确定按钮完成新建。

   参数	说明
   基本信息
   *圈选名称	资产圈选的名称，自行设定。 同一业务线下的圈选名称不可重复。
   *执行类型	圈选的执行类型，支持定时和手动两个选项，下拉可选。 手动：用户手动点击执行。 定时：系统在每天0点定时调度执行。
   创建人	圈选的创建人，默认为当前用户，不可修改。
   描述	圈选的描述信息。
   圈选条件
   *数据类型	圈选的数据类型，支持选项 MySQL、MiniBase Hive、ByteHouse CE、Doris、TOS、LAS、Greenplum、StarRocks 等，下拉可选。
   是否开启库表名圈选	可选择是否开启库表名圈选。 开启后，圈选将通过库、表等名称以及下方添加的筛选条件进行圈选。 集群：对应数据类型的集群，下拉可选已注册的集群。 库：所选集群下的数据库，下拉可选已创建的库。 表：所选数据库下的数据表，下拉可选已创建的表。 说明 当前页面因表展现的数量有限，更多表数据信息可通过在下拉框中输入表关键词的方式进行模糊搜索。 仅 MiniBase Hive、ByteHouse CE、Doris、LAS 等部分类型需要选择集群，注册集群的相关说明可参见集群管理。
   筛选条件	资产圈选的筛选条件，支持负责人、生命状态、是否核心等多个筛选方向，根据数据类型的不同有所区别。 通过添加条件按钮，可设置多个筛选条件，各条件之间是且的关系。

3. 单击某条开启状态信息操作列的**... > 运行**按钮，执行一次圈选。运行后，系统将按照圈选中配置的条件，将匹配的资产归属于当前业务线。
   

   说明

   仅执行类型为手动的圈选支持该操作。

分类并发布圈选资产 #

资产圈选运行完成后，您可在资产维护页面查看已圈选的数据资产信息，并可将圈选到该业务线下的资产进行分类管理后，发布到资产目录。

1. 选择资产管理 > 上下架管理 > 资产维护 > 维护资产，进入维护资产页面。
   

2. 单击某条信息操作列的分类按钮，在弹出的窗口中，可将该资产分类至指定的数据分类下，并直接发布。支持批量操作。
   

   参数	说明
   *修改类型	修改该资产的类型，支持更改数据分类、增加数据分类和删除数据分类三种方式。 更改数据分类：直接更改该资产的分类。 增加数据分类：保留资产上原有的分类并进行追加。 删除数据分类：删除资产上的分类。
   数据分类	该资产的所属分类，下拉可选已创建的数据分类，可设置多个。 说明 不同角色可选择的分类不同： 业务线管理员：可选择业务线下全部已有数据分类。 专辑分类管理员：仅可选择自己管理的数据分类及其下子分类。

查看资产目录 #

创建业务线配置相关资产，并将资产发布后，通过资产目录功能，可以将组内产出的数据资产系统整理后，进行类目化的展示。

1. 选择数据地图 > 资产目录，进入资产目录页面。
   
2. 选择要查看的业务线后，可以查看不同业务线下的资产数据列表。
3. 还可选择资产所属数据分类等其他筛选信息，按需搜索资产并查看其详情。