You need to enable JavaScript to run this app.
导航

方案结果

最近更新时间2024.02.20 15:01:09

首次发布时间2023.07.07 19:35:10

规划方案执行后,您便可在方案结果中,查看规划方案的明细、进展、待治理资产数量和治理规则详情等信息。

1 使用前提

  1. 已创建相应规划方案,详见规划方案
  2. 已购买 DataLeap 分布式数据自治服务。详细操作说明请参见 DataLeap 服务信息

2 查看方案结果页

2.1 进入方案结果详情

  1. 登录 DataLeap 控制台
  2. 在概览界面,选择数据治理 > 规划诊断 > 规划方案, 进入规划方案列表管理页面。
  3. 在方案列表中,找到您想查看结果明细的方案,单击方案结果列中的查看按钮,进入方案结果页面。

图片

2.2 查看方案结果

在方案结果页面,您可查看以下方案明细与进展:

说明

探查态的方案结果页面,部分操作受限,如需完整的治理操作,您可进行以下操作:

  • 当创建方案时,若存在必填项未填写时,您可单击右上角的完善方案按钮,前往方案编辑界面,将未填写的必填项信息补充完整后,单击开启方案,完成方案的整体创建。
  • 若创建方案时,所有必填项信息均已填写完成,则在探查态的方案结果页中,可直接单击右上角开启方案按钮,完成规划方案的开启。

图片

2.2.1 方案完成进度统计

依据圈选的治理域范围,整体展现该规划方案中治理的进展情况。

  • 待治理数量:统计当前在治理域范围内,待治理的资产数量。

  • 时间进度:(当前日期-方案开始时间)/方案总时长。

  • 当前进度:当前已治理的表和任务的数量/需要治理的表和任务总数。

  • 根据设定的治理方案目标,统计目前治理情况:

    治理场景

    治理目标说明

    存储治理

    • 物理存储变化量:【方案发起日】物理存储 -【方案结束日,若没结束,按当前日期】物理存储。
    • 已治理收益:包含平台操作收益和手工标记收益,详细您可查看方案进展操作收益明细。

    计算治理

    • cpu 日均节约:每次操作(关闭/上线任务)节约的 cpu 累计值(操作节约量:操作前后近7日日均 cpu 的 diff 值)。
    • mem 日均节约:每次操作(关闭/上线任务)节约的 mem 累计值(操作的节约量:操作前后近7日日均mem的 diff 值)。
    • 运行时长节约:每次操作(关闭/上线任务)节约的运行时长(操作的节约量:操作前后近7日日均运行时长的diff值)。
    • 优化/下线任务数:任务的治理状态为已治理的数量(方式:通过任务操作和手动标记)。

    说明

    • 6月份之后创建的 EMR 集群的任务可以获取到任务的 cpu&mem 消耗信息,之前的存量集群目前无法获取。
    • 当前无法获取到 cpu&mem 消耗信息的任务类型:Flink 任务、MR 任务和 PySpark 任务。

    质量治理

    • 表治理数量:表的治理状态为已治理的数量(方式:通过表操作和手动标记)。
    • 任务治理数量:任务的治理状态为已治理的数量(方式:通过任务操作和手动标记)。

2.2.2 规则/负责人分析

在不同治理场景下,您可在规则/负责人分析处,依据不同的治理规则,查看各规则/负责人下所需治理的明细情况。

治理场景

治理明细说明

存储治理

存储治理下的不同方案目标,可查看以下分析明细:

  • 方案目标:释放物理存储、优化表数量。
    • 规则分析:展现方案创建时指定的治理规则、物理存储、预计节约等数据统计。
    • 负责人分析:统计对应的任务/表owner、预计节约存储、待治理数量,存在待治理数量时,表示该资产未治理完成。
  • 方案目标:健康分
    • 规则分析:展现方案创建时指定的治理规则、物理存储、预计节约等数据统计。
    • 负责人分析:展示表负责人、存储健康分、待治理数量信息。

说明

预计节约是指根据规则配置的操作计算:

  • 修改 TTL:根据推荐的 TTL,计算可节约的存储;
  • 删除表,表存储大小为可节约的存储。

若推荐操作为多个,则取节约的最大值。

计算治理

计算治理下的不同方案目标,可查看以下分析明细:

  • 方案目标:节约 cpu/mem 日均使用量、优化/下线任务数量等治理目标。
    • 规则分析:展现方案创建时指定的治理规则、mem7日均消耗、cpu7日均消耗等数据。
    • 负责人分析:统计对应的任务/表owner、mem7日均消耗、待治理数量。
  • 方案目标:健康分
    • 规则分析:展现方案创建时指定的治理规则、mem7日均消耗、vcore7日均消耗等数据。
    • 负责人分析:展示表负责人、计算健康分、待治理数量信息。

质量治理

质量治理下的不同方案目标,可查看以下分析明细:

  • 方案目标:治理资产数量
    • 规则分析:展现方案创建时指定的治理规则、待治理数量数据。
    • 负责人分析:展示资产负责人、待治理数量数据。

2.2.3 方案明细

在右侧方案明细页签上,不同的适用场景,您可查看任务/表不同的治理明细信息,并进行相应的资产治理操作。

  1. 创建通知:单击方案明细列表上方的创建通知按钮,可配置给相关用户/角色,通过邮件方式发送治理通知。

    操作项

    说明

    通知对象

    您可发送治理通知给相关用户和角色:

    • 用户:可为指定的用户发送整个方案的资产治理通知,支持配置多个接收者。
    • 角色:只发送给对应表负责人/任务负责人的资产治理通知。

    执行频率

    支持选择每天重复、每工作日重复或自定义重复发送通知类型。

    执行时间

    指定执行发送通知的具体时间。

  2. 适用场景为存储治理

    • 在治理数据筛选方面,您可进行以下操作:
      • 您可通过下拉的方式,选择数据类型(包含 EMR Hive 和 LAS 类型)治理规则、治理状态,来进行治理明细数据的筛选。
      • 您也可以通过输入表名称负责人信息来搜索需治理的数据。
    • 在治理明细的列表中,您可进行以下操作:
      • 单击表名称信息,可跳转前往数据地图,查看需治理表的详情。
      • 当需治理的表过多时,您可以单击预计节约资源、逻辑存储、物理存储列中的排序操作,支持升序、降序的方式来展现。
        图片
      • 单击操作列中的生命周期按钮,支持按分区名称、按分区更新时间或按分区创建时间,来配置生命周期。配置操作详见资源优化-3.4 治理操作

        注意

        非分区表无法设置生命周期。

      • 单击操作列中的删除按钮,支持将需治理的数据表删除。

        注意

        删除数据表对当前表和下游表的任务、用户都将产生一定的影响,请谨慎操作。

      • 单击操作列中的表管理按钮,对其层级、中文名、描述等信息进行设置。
      • 单击操作列中的标记治理按钮,选择待治理的规则及输入治理方法,可将资产对应的规则标记为已治理。
      • 单击操作列中的设置白名单按钮,选择对应待治理的规则、白名单截止时间、并按照实际场景填写申请白名单的理由。

        说明

        • 在白名单截止时间内,该资产在对应规则下无需治理。
        • 目前白名单的生效范围为治理方案,不包含治理概览的健康分。
      • 批量操作:勾选多个需治理的表,您可对其进行批量设置TTL、批量删除、批量修改层级、批量标记等操作。
  3. 适用场景为计算治理:

    • 在治理数据筛选方面,您可进行以下操作:
      • 您可通过方案的数据类型(包含 EMR Hive 和 LAS 类型)治理规则、治理状态,下拉选择符合要求的治理数据。
      • 您也可以通过输入任务名称负责人信息来搜索需治理的数据。
    • 在治理明细的列表中,您可进行以下操作:
      • 单击任务名称信息,可跳转前往数据开发界面,查看任务的详情。
      • 当需治理的任务过多时,您可以单击men7日平均消耗、cpu7日平均消耗、实例平均运行时间列中的排序操作,支持升序、降序的方式来展现。
        图片
      • 单击操作列中的任务关闭按钮,将待治理的任务手动进行关闭操作。

        注意

        关闭任务对当前任务、下游任务、任务上的质量监控和其用户都将产生一定的影响,请谨慎操作。

      • 单击操作列中的标记治理按钮,选择待治理的规则及输入治理方法,可将资产对应的规则标记为已治理。
      • 单击操作列中的设置白名单按钮,选择对应待治理的规则,白名单截止时间,并按照实际场景填写申请白名单的理由。

        说明

        • 在白名单截止时间内,该资产在对应规则下无需治理。
        • 目前白名单的生效范围为治理方案,不包含治理概览的健康分
      • 单击操作列中的运行监控按钮,跳转前往数据开发 > 任务运维界面,进行任务运行监控的设置,您可为任务添加新的监控或者直接使用已有的监控规则。
      • 当治理任务已添加至某条基线时,您可单击操作列中的编辑基线按钮,将跳转前往数据开发 >任务运维 > 基线管理界面,进行基线相关的操作。

        注意

        项目下拥有管理员、开发者或复查人角色时,可操作任务关闭、标记治理、运行监控等治理按钮。

      • 批量操作:勾选多个需治理的任务,您可对其批量进行运行监控、批量关闭、批量标记等操作。

        注意

        必须是同一项目下且都是流式或离线的任务,才可批量关闭任务。

  4. 适用场景为质量治理:

    • 在治理数据筛选方面,您可进行以下操作:
      • 您可通过选择任务明细表明细,直接查看需治理的资产数据,其中表明细数据类型为 EMR Hive 和 LAS 表数据类型。
      • 您也可通过方案的数据类型(包含 EMR Hive 和 LAS 类型)治理规则、治理状态,下拉选择符合要求的治理数据。
      • 通过输入任务名称负责人信息,也可来搜索需治理的数据。
    • 在治理明细的列表中,针对任务明细或表明细资产数据的操作,您可参考上方计算治理存储治理时的操作内容。

2.2.4 方案进度

单击方案进度页签,您可查看以下治理方案每日进展:

  • 查看方案目标每日进展的趋势变化图,其中在计算治理进度趋势中,您还可通过资源变化量、资源使用量、进度趋势等方向,来查看每日进度趋势图。
  • 不同治理场景,您可通过搜索表名称(存储治理)、任务名称(计算治理)、资产名称(质量治理)和操作人信息,来查看治理的操作明细。

图片

2.2.5 方案视图

使用场景:例如电商数仓团队根据产品线划分了不同小组,因各小组的存储情况不同,治理负责人需要对不同的小组进行对应的治理运营策略,并且需要统计各小组治理情况以及电商整体的治理效果。
数据治理平台为您提供以下解决方案:
图片

  1. 在规划方案结果详情页,单击上方的筛选按钮,根据不同的标签/维度(如:项目、数据团队等,支持添加多个条件)进行筛选,来筛选出符合您需要查看的方案视图。
  2. 筛选完成后,单击确定按钮,完成方案视图筛选。
  3. 单击右侧另存为新视图按钮,输入视图名称,您也可以在另存为时,添加更多的筛选条件,如:项目、状态、任务类型等维度,来保存各小组对应的方案视图,单击确定按钮,完成视图保存。
  4. 视图保存完成后,您可在系统视图处,下拉选择已保存成功的其他视图,各小组可查看属于自己的治理视图详情。
  5. 在各个方案视图下,也可创建不同消息通知,以及查看治理效果。
  6. 单击方法文档右侧的编辑按钮,您可将此视图,此治理场景下的优化方法文档填写于此,用以指导资产负责人进行治理操作。
    图片
  7. 当统计电商整体的治理效果时,可切换为系统视图(无筛选条件)下,查看整体进展及收益。

2.2.6 历史版本方案结果

已经运行过的规划方案,支持您查看历史版本每次运行的结果。
在方案结果页面中,单击历史版本按钮,在弹窗中进行历史方案结果的查看:
图片

  1. 在弹窗左侧,抽屉式的展示历史所有执行版本,您可通过以下几个方式按需查看:
    • 运行时间:通过方案的运行时间,查看当时的方案结果。
    • 触发机制:方案支持手动触发、例行诊断的触发机制来进行区分查看。
    • 运行状态:您也可通过运行中、运行成功、运行失败等状态来区分。
  2. 历史方案明细:
    • 数据时间:方案执行时,方案使用的数据业务时间。
    • 资产范围详情:单击详情按钮,查看方案配置的资产范围内容。
    • 治理规则详情:单击详情按钮,查看治理规则名称,单击查看规则按钮,您可查看具体的规则范围、条件等内容。
      图片
    • 资产明细:
      • 筛选器:您可通过 EMR Hive、LAS 表名称、任务名称、治理规则等维度进行筛选资产明细。
      • 资产详情:展示历史方案执行中,需治理的 EMR Hive、LAS 表名称、任务名称和治理规则所属等信息。