管理 EMR Doris 表

本文为您介绍如何查看并管理 EMR Doris 表的数据详情。

1 前提条件

在搜索前，需要在数据地图 > 元数据采集页面新建采集器，将集群的元数据采集到数据地图。相关操作说明可参见元数据采集。

2 查看数据详情

1. 登录 DataLeap 控制台。
2. 选择概览 > 数据地图 > 数据检索，进入数据检索页面。
3. 搜索数据后，进入数据详情页面。
   
4. 可以查看数据详情，并进行数据管理。
   • 位于页面顶部的各摘要信息
     • 可以查看表名、元数据完善度等信息。其中，完善度计算方式为：负责人20%、表描述20%、字段描述30%（按字段填充比率折算）、业务域15%、层级15%。
     • 可以查看点赞数、收藏人数，并单击相应图标点赞或收藏该表。
     • 单击复制建表图标按钮，可以复制该表信息后打开建表页面，按需创建新的数据表。建表操作的相关说明可参见Table管理。
   • 表结构信息详情，包括表的明细信息、使用说明、血缘关系、备注问答等功能信息。
   • 右侧信息栏的数据表基本信息，包括基础信息、业务信息和技术信息。

3 管理表结构信息

3.1 明细信息

1. 登录 DataLeap 控制台。
2. 选择概览 > 数据地图 > 数据检索，进入数据检索页面。
3. 搜索数据表后，进入数据表详情页面。
4. 单击明细信息页签，进入表的明细信息页面。
5. 可以查看该表的字段信息、分区信息和变更记录，并执行以下操作：
   • 字段信息
     • 在搜索框中，输入字段名称或描述的关键词，单击搜索框右侧的搜索图标，可以查看符合条件的信息。
     • 单击编辑按钮，输入DDL改表语句，单击保存按钮，在弹出的确认对话框中，勾选提示信息后，单击确定按钮完成修改。

       说明

       • 修改字段顺序前先通过血缘关系查看下游影响任务，并通知相关任务责任人进行相应修改，以防出现由修改造成的生成任务和下游依赖报错。
       • 修改字段后若需要回溯数据,可以在生产信息 > 运行信息跳转至数据开发平台进行操作。
     • 单击查看DDL 按钮，可以看到该表的定义SQL语句。
     • 单击列表中某字段备注问答列的备注或问答按钮，在对应的备注问答页面中，可以填写备注信息或提出问题，单击提交按钮完成发布。页面中会展示最新发布的信息，您可以编辑或删除已发布的信息。
   • 变更记录
     • 在搜索框中，输入关键词，单击搜索框右侧的搜索图标，可以查看符合条件的变更记录。
     • 单击列表中某条信息变更内容列的查看变更前后内容按钮，在弹出的窗口中，可以看到变更前后的详情对比。

3.2 预览探查

1. 登录 DataLeap 控制台。
2. 选择概览 > 数据地图 > 数据检索，进入数据检索页面。
3. 搜索数据表后，进入数据表详情页面。
4. 单击预览探查页签，进入预览探查页面。
   
5. 可以查看该表的若干条数据以及数据探查结果，并执行以下操作：
   • 数据预览
     可以预览当前表的数据，并执行以下操作：
     • 在队列下拉列表中选择队列，单击旁边的刷新图标后，即可用当前选中的队列进行查询。

       说明

       预览数据时系统会自动选择默认队列，若无默认队列，则需手动选择有权限的队列进行查询。

     • 单击隐藏列，可以隐藏/展示字段列表。当勾选某字段时，工作表中显示该字段；当取消勾选时，工作表中隐藏该字段。
     • 单击搜索，在出现的搜索框中，输入信息关键词，按回车键，可以搜索对应信息。
   • 动态探查
     可按需对探查结果进行数据抽样、过滤、Group By、列删除、列排序等操作，具体操作说明请参见数据质量的动态探查。
   • 全量探查
     单击全量探查页面的探查按钮，可直接跳转至该表的新建探查页面，创建探查并生成探查报告。详细的操作说明请参见创建探查。
     • 若数据未探查，则此处无法查看探查报告，需单击去探查按钮，创建探查。
     • 若数据已探查，则可查看探查报告，并可单击我要探查按钮，创建新的探查。

3.3 使用说明

本功能用于撰写数据表的使用说明文档，一般由表负责人撰写。相关操作步骤如下：

1. 登录 DataLeap 控制台。
2. 选择概览 > 数据地图 > 数据检索，进入数据检索页面。
3. 搜索数据表后，进入数据表详情页面。
4. 单击使用说明页签，进入添加使用说明页面。
5. 单击编辑按钮，提示可以新增卡片页，单击页面左上角显示的加号 +，弹出新增标签窗口。
6. 输入标签名后，单击确定按钮，增加相应的标签页。
7. 从下拉列表中选择编辑工具，输入说明内容后，单击保存按钮，完成添加。
8. 还可编辑和删除已添加的内容。
   1. 单击编辑按钮，标签页进入编辑状态。
   2. 可执行以下操作：
      • 单击标签名称旁的编辑图标，可以修改标签名称。
      • 单击标签名称旁的删除图标，二次确认后，删除标签页。
      • 编辑说明内容。
   3. 单击保存按钮，完成编辑。

3.4 生产信息

1. 登录 DataLeap 控制台。
2. 选择概览 > 数据地图 > 数据检索，进入数据检索页面。
3. 搜索数据表后，进入数据表详情页面。
4. 单击生产信息页签，进入生产信息页面。
   
5. 可以查看该表的运行信息和脚本信息，并执行以下操作：
   • 运行信息
     • 从下拉列表中选择任务，并设置运行时间段，可以查看该时间段内任务的运行情况。
     • 单击运行列表中某条信息的任务名称或操作列的任务按钮，可以跳转到数据开发的任务配置页面。
     • 单击运行列表中某条信息操作列的日志按钮，可以跳转到实例日志页面查看实例信息。
   • 脚本信息
     • 单击任务后的查看任务详情图标，可以跳转到数据开发的任务配置页面。
     • 单击展开任务，可以查看任务的脚本信息。

3.5 血缘关系

用于查看该表的数据都由哪些表计算得到，即该表的上游血缘，以及该表的数据又用于计算生成了哪些表格，即该表的下游血缘，并进行相应的管理。血缘有表格视图、可视化图表两种展示方式。

3.5.1 表格视图

1. 登录 DataLeap 控制台。
2. 选择概览 > 数据地图 > 数据检索，进入数据检索页面。
3. 搜索数据表后，进入数据表详情页面。
4. 选择血缘关系 > 表格视图页签，进入血缘关系的表格视图页面。
   
5. 可执行以下操作：
   • 设置查看条件，查看符合条件的数据，包括数据资产节点、字段、血缘层级、节点负责人、任务名称、任务负责人等信息。
     • 筛选粒度：包含表、字段、分区。
     • 查看范围：包含查看全部、仅为上游、仅为下游。
     • 层级：建议≤20层。
     • 搜索：可输入表名、任务名等，查到具体对象。

     注意

     • 血缘的更新频率为小时级，即每小时会将新的依赖关系更新到血缘关系中。
     • 若血缘无法自动解析或解析不准确，可通过在数据开发 > 任务开发 > 调度设置页面手动登记的方式进行补充。
   • 单击右侧的下载信息按钮，将列表中的节点数据保存成csv格式本地浏览使用。
   • 设置快速通知
     1. 勾选一条或多条列表中的节点数据，单击右侧的快速通知按钮，弹出快速通知窗口。
     2. 配置通知信息，单击通知按钮，弹出确认通知对话框。
     3. 单击确定按钮完成设置。当上下游节点表变更信息时，系统会将通知发送到目标用户登记的邮箱中。

     说明

     仅表的负责人可设置快速通知，当前仅支持“邮件”通知方式。

3.5.2 可视化图表

可视化图表分为表视图、列视图、分区视图三种显示方式。

1. 登录 DataLeap 控制台。
2. 选择概览 > 数据地图 > 数据检索，进入数据检索页面。
3. 搜索数据表后，进入数据表详情页面。
4. 选择血缘关系 > 可视化图表页签，进入血缘关系的可视化图表页面。
   
5. 可执行以下查询操作：
   • 表视图
     • 范围x层：可以选择节点范围，包括层级（1层~5层）、上下游节点信息，即可在图中展示全部所选层级的上下游。
     • 分组：可以分组显示节点信息，分组结果会在图中展示。
     • 筛选：可以筛选一个或多个数据类型，展示相应的节点信息，缩小查找的节点范围。
     • 属性展示：可选中一个或多个属性，展示在列表中。最多可同时展示3个属性。
     • 右上方3个图标按钮分别是全屏、重置、下载CSV表格。
     • 单击某一个节点，可以高亮该节点到主节点的链路，其他节点会置灰；再单击图交互区空白处，该节点可取消高亮。
     • 可以单击表名称，在右边的信息栏查看该表的节点信息和任务信息。在节点信息栏，还可以做以下操作：
       • 单击查看表详情按钮，跳转到数据检索页面，查看该表的明细信息。
       • 单击切换为主节点按钮，可以将非主节点的表切换为主节点进行展示。
   • 列视图
     • 主节点字段：可以展示一个或多个主节点字段的血缘关系。最多可同时展示5个。
     • 范围x层：可以选择节点范围，包括层级（1层~5层）、上下游节点信息，即可在图中展示全部所选层级的上下游。
     • 右上方3个图标按钮分别是全屏、重置、下载CSV表格。
     • 单击某一个字段节点，可以高亮该节点到主节点的链路，其他节点会置灰；再单击图交互区空白处，该节点可取消高亮。
     • 可以单击表名称，在右边的信息栏查看该表的节点信息和任务信息。在节点信息栏，还可以做以下操作：
       • 单击查看表详情按钮，跳转到数据检索页面，查看该表的明细信息。
       • 单击切换为主节点按钮，可以将非主节点的表切换为主节点进行展示。
   • 分区视图
     • 可以查看范围（显示全部、只看上游或只看下游）、层级（1层~5层），即可在图中展示全部所选层级的上下游。层级范围下方的4个按钮分别是居中显示、放大、缩小、全屏/取消全屏。
     • 可以输入关键词标记，以便搜索查找关键信息。
     • 分类聚合：按照分类条件筛选，可以将同类型的信息展示在对应标签的提示框中。
     • 单击某一个节点，可以高亮该节点和该节点的上下游，其他节点会置灰；再次单击该节点可取消高亮。也可以点住图交互区空白处不放，然后移动鼠标，交互图会随着鼠标平移。
     • 可以单击表名称，在右边的信息栏查看该表的节点信息和任务信息。

3.6 备注问答

本功能支持查看该表的备注问答信息，也支持发布备注、提问信息。

1. 登录 DataLeap 控制台。
2. 选择概览 > 数据地图 > 数据检索，进入数据检索页面。
3. 搜索数据表后，进入数据表详情页面。
4. 单击备注问答页签，进入备注问答页面。
   
5. 可执行以下操作：
   • 在搜索框中，搜索备注问答对象，并单击要查看的对象，可以分类查看该表的备注问答信息。
   • 单击备注按钮，可以填写备注信息。
   • 单击我要提问按钮，可以向负责人提出问题。
   • 编辑或删除自己创建的备注问答信息。
     鼠标悬停在某条信息上，单击显示的相应图标按钮，可以编辑或删除该条信息。

4 管理表基本信息

1. 登录 DataLeap 控制台。
2. 选择概览 > 数据地图 > 数据检索，进入数据检索页面。
3. 搜索数据表后，进入数据表详情页面。
4. 可以查看表的基础信息、业务信息等信息，并可将鼠标悬停在某参数上，单击显示的编辑图标，修改参数信息后，单击确定图标，完成修改。

数据表信息相关参数说明如下表所示。