计算健康分

• 通过健康分，可以直观地看到各个团队的治理程度，了解团队的资源使用情况、评估是否还有优化空间。

• 通过健康分子项规则的口径定义和权重设定，可以帮助和引导团队更快判断治理的优先级。

1 前提条件

已购买分布式数据自治服务。详细操作说明请参见 DataLeap 服务信息。

2 操作步骤

1. 登录 DataLeap 控制台。

2. 选择数据治理 > 治理全景 > 治理评估 > 计算健康分，进入计算健康分页面。

   

3. 可以设置搜索条件，查看符合条件的数据，并进行相应的管理。

   • 计算健康分

     • 展示近两个月的计算健康分趋势以及与上个双月末的比较。

     • 支持查看健康分下每个规则下扣分值、问题表数量，上个双月末的比较以及分数趋势。

     • 单击添加治理方案按钮，创建治理方案推动治理。

       说明

       • 仅查询条件选择团队或个人时，才可设置此信息。

       • 仅有关联资产的数据团队才能创建治理方案。

   • 本双月治理成效
     支持查看本双月的治理任务数、节约mem量、节约vcore量和无效资产减少量。

     说明

     • 6月份之后创建的 EMR 集群的任务可以获取到任务的 cpu&mem 消耗信息，之前的存量集群目前无法获取。

     • 当前无法获取到 cpu&mem 消耗信息的任务类型：Flink 任务、MR 任务和 PySpark 任务。

   • 明细分析

     • 单击健康分情况页签，可以查看筛选范围下包含的资产的健康分情况，并进行以下操作：

       • 单击某条信息操作列的催办按钮，确认催办信息后，可以对维度负责人发送催办通知。

       • 单击某条信息相应的蓝色指标数值，可以下钻查看数据存储详情。

       说明

       未分类的资产不能催办。

     • 单击分布情况页签，可以查看筛选范围下包含的资产的分布情况，并支持进行催办和下钻查看数据存储详情。

     • 单击治理方案页签，可以查看筛选范围下进行中的治理方案。

     说明

     • 当查询条件选择团队时，可以从子团队、子方向、项目、个人四个维度进行明细分析。其中，子团队和子方向需要在数据团队配置中进行相应的配置后此处才会显示。

     • 当查询条件选择全部时，支持按数据团队进行明细分析。

     • 当查询条件选择个人时，支持按项目进行明细分析。

     计算健康分相关参数说明如下表所示。

     参数	说明
     数据类型	仅支持 EMR Hive 类型的数据。
     筛选维度	支持全局、团队和个人三个筛选维度。 全局：主账号下全量数据表。 集群元数据需要先至 元数据采集页面配置采集器。 团队：数据团队圈选的库所包含的表。可在工作台 > 数据团队配置页面配置父团队数据包含子团队数据。 个人：数据表资产的负责人，可输入已创建账号的关键词下拉选择。 当选择团队时，需选择相应的数据团队。数据团队配置说明请参见系统配置。
     计算健康分
     计算健康分达标口径	总分高于90且单个子项扣分小于3分。
     双月90分达成天数	本双月中，健康分在90天以上的天数。
     问题指标	问题指标包括产出表无使用热度、资源申请不合理、任务频繁失败、产出表为空四个规则，每个规则对应的信息如下： 扣分值：单个规则在总分下的扣分数。 问题任务数量：符合规则的待治理任务数量，支持下钻查看明细。 分数较上双月末：（data分数-上双月末分数）/ 上双月末分数 单项分数趋势：近两个月单项指标的分数趋势。 详细的健康分口径及计算细则说明请参见下方的健康分口径说明。
     添加治理方案	创建治理方案推动治理，可查看方案进展及效果，适用于多人协作治理。创建治理方案的相关参数说明请参见规划方案。 仅查询条件选择团队或个人时，才可设置此信息。
     本双月治理成效
     治理任务数	在平台做治理操作（即关闭任务操作）的任务。
     节约mem量	在平台治理操作（即关闭任务操作）的收益。 说明 收益口径为关闭前任务7日消耗均值。
     节约vcore量	在平台治理操作（即关闭任务操作）的收益。 说明 收益口径为关闭前任务7日消耗均值。
     无效资产减少量	无效资产：连续五个调度周期未完成，并且近30天内存在资源消耗。 减少量：上双月末数量 - 数据更新时间数量
     明细分析-健康分情况
     排名	默认按照健康分从高到低排名，可选择按升序或降序排名显示。
     计算健康分	筛选范围下，每个维度的计算健康分。
     扣分占比	筛选范围下，每个维度的扣分在总扣分的占比。
     各个子规则	展示子规则的扣分情况，支持下钻调整。
     明细分析-分布情况
     计算健康分	筛选范围下，每个维度的计算健康分。
     任务数量	筛选范围下，包含的任务数量。
     物理存储量	筛选范围下，包含的表物理存储量。
     近一周治理任务数量	近一周，在平台做治理操作（即关闭任务操作）的任务。
     明细分析-治理方案
     相关参数	展示筛选范围下，进行中的治理方案，详细说明可参见规划方案。

3 健康分口径说明

计算健康分支持您从全局、团队和个人视角出发，在不同维度下进行健康分的查看，健康分计分体系则由治理项分数与健康分两部分组成，其中：

• 计算健康分由各个任务维度治理项分数复合而成，详见下方计算细则。

• 计算治理项分数因所在维度不同，计算规则不同。

  • 从任务维度，会基于一定的治理项规则给各个治理项打分，详见下方具体规则及权重说明。

  • 在上层维度，如：团队、项目、个人等，会基于该维度下各个任务的治理项得分复合得到，以每个粒度中任务的资源来作为权重。

3.1 具体规则及权重

具体治理项规则、口径、得分及相关治理操作，参考如下：

3.2 计算细则

每个粒度的计算健康分 = sum(治理项分数 * 权重)

• 任务粒度

  任务命中治理项问题，那么该治理项的分数为0，否则为100。

• 团队、部门、项目等粒度治理项得分 = sum(任务粒度的治理项得分 * 权重)

  • 权重（扣分占比） = 当前粒度下任务申请的资源 / 总资源