数据检索

在数据检索首页，您可以查看最近浏览的库或表、平台已接入的数据资产、专题推荐、相关功能的快捷入口等信息；还可以填写搜索关键词，进行数据检索。检索到需要的数据后，可以查看该表的数据详情，并对数据表信息进行管理操作。

1 前提条件

在搜索前，需要在数据地图 > 元数据采集页面新建采集器，将集群的元数据采集到数据地图。相关操作说明可参见元数据采集。

2 检索数据

2.1 检索所有数据

1. 登录 DataLeap 控制台。

2. 选择概览 > 数据地图 > 数据检索，进入数据检索页面。

   

3. 在 Catalog 搜索框中，或鼠标悬停在顶层菜单栏右侧的搜索图标上，在出现的搜索框中，输入搜索数据表的关键词。支持空格分隔多个关键词。

   说明

   • 单击 Catalog 搜索框，会显示历史搜索记录下拉列表，可按需进行快速搜查。

   • 输入关键词后，下拉列表中会显示搜索推荐的表名，可直接单击进入表详情页。

4. 按回车键或单击搜索按钮，进入搜索结果页面，可以浏览符合条件的LAS、EMR、ByteHouse CDW 等元数据信息列表。

   

5. 还可通过以下筛选操作定位查找：

   • 在左侧栏，通过筛选操作，对数据类型、库、负责人、生命状态、业务域、产品线、层级、项目、主题、标签等进行组合定位。

   • 单击页面右上角的列表模式，在显示的下拉列表中，可以切换展示模式为Excel模式。

     • 列表模式：将模糊搜索后的元数据信息陈列出来。

     • Excel模式：在表格中进行筛选和精准定位查找。

6. 找到所需的搜索结果后，可以单击链接跳转到该数据的详情页面，管理数据信息。

2.2 检索我的收藏

1. 登录 DataLeap 控制台。

2. 选择概览 > 数据地图 > 数据检索，进入数据检索页面。

3. 通过以下任一方式，进入我的收藏页面。

   • 单击 Catalog 搜索框右侧的我的收藏。

   • 搜索数据后，在搜索结果页面，单击我的收藏。

4. 可以查看自己收藏的所有表，并执行以下操作：

   • 在搜索栏中，输入名称关键词，单击搜索图标，搜索自己收藏的表。

   • 单击某条数据操作列的取消收藏按钮，在弹出的二次确认对话框中，单击确定按钮，可以取消对该数据的收藏。

   • 勾选一条或多条数据，单击批量取消收藏按钮，在弹出的二次确认对话框中，单击确定按钮，可以批量取消收藏。

3 查看数据详情

1. 登录 DataLeap 控制台。

2. 选择概览 > 数据地图 > 数据检索，进入数据检索页面。

3. 搜索数据后，进入数据详情页面。

   

   说明

   若最近打开过要查看的数据表，则可在最近浏览栏，单击表名直接进入详情页面。

4. 可以查看数据详情，并将页面划分为以下3个区域进行数据管理。

   • 摘要区：包括位于页面顶部的各信息。

     • 可以查看表名、表是否在线、元数据完善度等信息。其中，完善度计算方式为：负责人20%、表描述20%、字段描述30%（按字段填充比率折算）、业务域15%、层级15%。

     • 可以查看点赞数、收藏人数，并单击相应图标点赞或收藏该表。

     • 单击查看DDL 按钮，可以看到该表的定义SQL语句。

     • 单击复制建表按钮，可以复制该表信息后打开建表页面，按需创建新的数据表。建表操作的相关说明可参见Table管理。

     • 可快速查看登录账号是否有 LAS 表的操作权限。若没有，则页面会提示无权限，可单击申请按钮申请权限，申请权限的相关操作请参见权限申请。

       

   • 查询区：包括位于页面中部的各功能页签。

     可以查看表的明细信息、预览探查、使用说明、生成信息、血缘关系、备注问答等功能信息。

   • 信息区：包括位于左侧信息栏的数据表信息。

     可以查看表信息，包括基础信息、业务信息、安全信息和技术信息。

   说明

   以上为完整的信息说明，各类型数据表显示的信息不完全相同，具体请以页面实际显示为准。

4 管理表结构信息

4.1 明细信息

1. 登录 DataLeap 控制台。

2. 选择概览 > 数据地图 > 数据检索，进入数据检索页面。

3. 搜索数据表后，进入数据表详情页面。

4. 单击明细信息页签，进入表的明细信息页面。

5. 可以查看该表的字段信息、分区信息和变更记录，并执行以下操作：

   • 字段信息

     • 在搜索框中，输入字段名称或描述的关键词，单击搜索框右侧的搜索图标，可以查看符合条件的信息。

     • 单击编辑按钮，修改字段信息，单击保存按钮，在弹出的确认对话框中，勾选提示信息后，单击确定按钮完成修改。

       仅 LAS、EMR Doris 数据表可编辑，相关参数说明如下表所示。其中名称前带 * 的参数为必填参数，名称前未带 * 的参数为可选参数。

       参数	说明
       LAS表
       主键	即主关键字，是表中的一个或多个字段，它的值用于唯一的标识表中的某一条记录。可选择是否设置某字段为主键。 若为复合主键，请选择多个字段。 仅 int、bigint、double、string 类型支持设置为主键。
       *英文名称	字段的英文名称，仅支持小写英文字母、数字、下划线。
       *字段类型	根据实际情况填写，支持多种类型选项，下拉可选。
       *字段描述	字段的说明信息，以便后续管理。
       EMR Doris表
       *改表语句	输入DDL改表语句。

       说明

       • LAS 表支持增减非分区字段、修改已有字段的描述信息或调整字段排序，不可变更字段名称和类型，且删除过的字段不可以再新建同名字段。

       • 修改字段顺序前先通过血缘关系查看下游影响任务，并通知相关任务责任人进行相应修改，以防出现由修改造成的生成任务和下游依赖报错。

       • 修改字段后若需要回溯数据,可以在生产信息 > 运行信息跳转至数据开发平台进行操作。

     • 单击 SQL查询按钮，在弹出的窗口中，输入查询语句，查询指定信息。

     • 单击列表中某字段备注问答列的备注或问答按钮，在对应的备注问答页面中，可以填写备注信息或提出问题，单击提交按钮完成发布。页面中会展示最新发布的信息，您可以编辑或删除已发布的信息。

     • 单击列表中某字段探查列的探查按钮，在弹出的上拉窗口中，可以查看该字段的探查结果。

       • 若该字段已探查，则可查看探查结果并单击查看完整报告按钮，查看完整的数据探查报告。

       • 若该字段尚未进行探查，则可单击去探查按钮，创建新的探查。

   • 分区信息

     • 在搜索框中，输入分区字段关键词，单击搜索框右侧的搜索图标，可以查看符合条件的分区信息。

     • 选择分区创建时间，可以查看对应时间段内的分区信息。

     • 分区信息列表中，部分参数可进行升降序查看。

   • 变更记录

     • 在搜索框中，输入关键词，单击搜索框右侧的搜索图标，可以查看符合条件的变更记录。

     • 单击列表中某条信息变更内容列的查看变更前后内容按钮，在弹出的窗口中，可以看到变更前后的详情对比。

4.2 预览探查

1. 登录 DataLeap 控制台。

2. 选择概览 > 数据地图 > 数据检索，进入数据检索页面。

3. 搜索数据表后，进入数据表详情页面。

4. 单击预览探查页签，进入预览探查页面。

   

5. 可以查看该表的若干条数据以及数据探查结果，并执行以下操作：

   • 动态探查

     可按需对探查结果进行数据抽样、过滤、Group By、列删除、列排序等操作，具体操作说明请参见数据质量的动态探查。

   • 数据预览
     可以预览当前表的数据，并执行以下操作：

     • 在队列下拉列表中选择队列，单击旁边的刷新图标后，即可用当前选中的队列进行查询。

       说明

       预览数据时系统会自动选择默认队列，若无默认队列，则需手动选择有权限的队列进行查询。

     • 单击隐藏列，可以隐藏/展示字段列表。当勾选某字段时，工作表中显示该字段；当取消勾选时，工作表中隐藏该字段。

     • 单击搜索，在出现的搜索框中，输入信息关键词，按回车键，可以搜索对应信息。

   • 全量探查
     单击全量探查页面的探查按钮，可直接跳转至该表的新建探查页面，创建探查并生成探查报告。详细的操作说明请参见创建探查。

     • 若数据未探查，则此处无法查看探查报告，需单击去探查按钮，创建探查。

     • 若数据已探查，则可查看探查报告，并可单击我要探查按钮，创建新的探查。

4.3 使用说明

本功能用于撰写数据表的使用说明文档，一般由表负责人撰写。相关操作步骤如下：

1. 登录 DataLeap 控制台。

2. 选择概览 > 数据地图 > 数据检索，进入数据检索页面。

3. 搜索数据表后，进入数据表详情页面。

4. 单击使用说明页签，进入添加使用说明页面。

5. 单击编辑按钮，提示可以新增卡片页，单击页面左上角显示的加号 +，弹出新增标签窗口。

6. 输入标签名后，单击确定按钮，增加相应的标签页。

7. 从下拉列表中选择编辑工具，输入说明内容后，单击保存按钮，完成添加。

8. 还可编辑和删除已添加的内容。

   1. 单击编辑按钮，标签页进入编辑状态。

   2. 可执行以下操作：

      • 单击标签名称旁的编辑图标，可以修改标签名称。

      • 单击标签名称旁的删除图标，二次确认后，删除标签页。

      • 编辑说明内容。

   3. 单击保存按钮，完成编辑。

4.4 生产信息

1. 登录 DataLeap 控制台。

2. 选择概览 > 数据地图 > 数据检索，进入数据检索页面。

3. 搜索数据表后，进入数据表详情页面。

4. 单击生产信息页签，进入生产信息页面。

   

5. 可以查看该表的运行信息和脚本信息，并执行以下操作：

   • 运行信息

     • 从下拉列表中选择任务，并设置运行时间段，可以查看该时间段内任务的运行情况。

     • 单击运行列表中某条信息的任务名称或操作列的任务按钮，可以跳转到数据开发的任务配置页面。

     • 单击运行列表中某条信息操作列的日志按钮，可以跳转到实例日志页面查看实例信息。

   • 脚本信息

     • 单击任务后的查看任务详情图标，可以跳转到数据开发的任务配置页面。

     • 单击展开任务，可以查看任务的脚本信息。

4.5 血缘关系

用于查看该表的数据都由哪些表计算得到，即该表的上游血缘，以及该表的数据又用于计算生成了哪些表格，即该表的下游血缘，并进行相应的管理。血缘有表格视图、可视化图表两种展示方式。

4.5.1 表格视图

1. 登录 DataLeap 控制台。

2. 选择概览 > 数据地图 > 数据检索，进入数据检索页面。

3. 搜索数据表后，进入数据表详情页面。

4. 选择血缘关系 > 表格视图页签，进入血缘关系的表格视图页面。

   

5. 可执行以下操作：

   • 设置查看条件，查看符合条件的数据，包括数据资产节点、字段、血缘层级、节点负责人、任务名称、任务负责人等信息。

     • 筛选粒度：包含表、字段、分区。

     • 查看范围：包含查看全部、仅为上游、仅为下游。

     • 层级：建议≤20层。

     • 搜索：可输入表名、任务名等，查到具体对象。

     注意

     • 血缘的更新频率为小时级，即每小时会将新的依赖关系更新到血缘关系中。

     • 若血缘无法自动解析或解析不准确，可通过在数据开发 > 任务开发 > 调度设置页面手动登记的方式进行补充。

   • 单击右侧的下载信息按钮，将列表中的节点数据保存成csv格式本地浏览使用。

   • 设置快速通知

     1. 勾选一条或多条列表中的节点数据，单击右侧的快速通知按钮，弹出快速通知窗口。

     2. 配置通知信息，单击通知按钮，弹出确认通知对话框。

     3. 单击确定按钮完成设置。当上下游节点表变更信息时，系统会将通知发送到目标用户登记的邮箱中。

     说明

     仅表的负责人可设置快速通知，当前仅支持“邮件”通知方式。

4.5.2 可视化图表

可视化图表分为表视图、列视图、分区视图三种显示方式。

1. 登录 DataLeap 控制台。

2. 选择概览 > 数据地图 > 数据检索，进入数据检索页面。

3. 搜索数据表后，进入数据表详情页面。

4. 选择血缘关系 > 可视化图表页签，进入血缘关系的可视化图表页面。
   

5. 可执行以下查询操作：

   • 表视图

     • 范围x层：可以选择节点范围，包括层级（1层~5层）、上下游节点信息，即可在图中展示全部所选层级的上下游。

     • 分组：可以分组显示节点信息，分组结果会在图中展示。

     • 筛选：可以筛选一个或多个数据类型，展示相应的节点信息，缩小查找的节点范围。

     • 属性展示：可选中一个或多个属性，展示在列表中。最多可同时展示3个属性。

     • 右上方3个图标按钮分别是全屏、重置、下载CSV表格。

     • 单击某一个节点，可以高亮该节点到主节点的链路，其他节点会置灰；再单击图交互区空白处，该节点可取消高亮。

     • 可以单击表名称，在右边的信息栏查看该表的节点信息和任务信息。在节点信息栏，还可以做以下操作：

       • 单击查看表详情按钮，跳转到数据检索页面，查看该表的明细信息。

       • 单击切换为主节点按钮，可以将非主节点的表切换为主节点进行展示。

   • 列视图

     • 主节点字段：可以展示一个或多个主节点字段的血缘关系。最多可同时展示5个。

     • 范围x层：可以选择节点范围，包括层级（1层~5层）、上下游节点信息，即可在图中展示全部所选层级的上下游。

     • 右上方3个图标按钮分别是全屏、重置、下载CSV表格。

     • 单击某一个字段节点，可以高亮该节点到主节点的链路，其他节点会置灰；再单击图交互区空白处，该节点可取消高亮。

     • 可以单击表名称，在右边的信息栏查看该表的节点信息和任务信息。在节点信息栏，还可以做以下操作：

       • 单击查看表详情按钮，跳转到数据检索页面，查看该表的明细信息。

       • 单击切换为主节点按钮，可以将非主节点的表切换为主节点进行展示。

   • 分区视图

     • 可以查看范围（显示全部、只看上游或只看下游）、层级（1层~5层），即可在图中展示全部所选层级的上下游。层级范围下方的4个按钮分别是居中显示、放大、缩小、全屏/取消全屏。

     • 可以输入关键词标记，以便搜索查找关键信息。

     • 分类聚合：按照分类条件筛选，可以将同类型的信息展示在对应标签的提示框中。

     • 单击某一个节点，可以高亮该节点和该节点的上下游，其他节点会置灰；再次单击该节点可取消高亮。也可以点住图交互区空白处不放，然后移动鼠标，交互图会随着鼠标平移。

     • 可以单击表名称，在右边的信息栏查看该表的节点信息和任务信息。

4.6 备注问答

本功能支持查看该表的备注问答信息，也支持发布备注、提问信息。

1. 登录 DataLeap 控制台。

2. 选择概览 > 数据地图 > 数据检索，进入数据检索页面。

3. 搜索数据表后，进入数据表详情页面。

4. 单击备注问答页签，进入备注问答页面。

   

5. 可执行以下操作：

   • 在搜索框中，搜索备注问答对象，并单击要查看的对象，可以分类查看该表的备注问答信息。

   • 单击备注按钮，可以填写备注信息。

   • 单击我要提问按钮，可以向负责人提出问题。

5 管理表信息

1. 登录 DataLeap 控制台。

2. 选择概览 > 数据地图 > 数据检索，进入数据检索页面。

3. 搜索数据表后，进入数据表详情页面。

4. 可以查看表的基础信息、业务信息等信息，并执行以下管理操作：

   • 将鼠标悬停在某参数上，单击显示的编辑图标，修改参数信息后，单击确定图标，完成修改。

   • 单击是否隐藏的开启/关闭图标按钮，可以决定是否隐藏表的安全信息。

   

   说明

   • 鼠标悬停时，只有能显示编辑图标的参数，才可编辑。

   • 不同类型的元数据采取不同的编辑权限限制。

     • 具备某 LAS 库/表读写权限的账号才可编辑该表的信息。没有权限的账号可通过页面右上方显示的申请按钮申请权限，申请权限的相关操作请参见权限申请。

     • 仅 EMR Hive 库/表或 ByteHouse CDW 表的负责人可编辑自己负责的数据表。

数据表信息相关参数说明如下表所示。不同类型的表包含的信息不完全相同，请以页面实际显示为准。