动态探查提供全局数据视角、完善的抽样策略裁剪数据，将数据缩小在一定的范围内，从而提高响应速率。
动态探查基于抽样的部分数据进行探查，展示字段明细以及字段的 0 值、Null 值、枚举值等探查信息，并支持通过过滤、group by等操作分析数据质量问题，实时展示统计分布结果。

使用场景 #

当前动态探查支持的主要使用场景如下：

• 电商数据存在 Json 类型的某个字段，该字段存放产品的一些独有字段。当进行分析时，您可以利用 Hive 的基本函数比如 get_json_object，提取相应的列数据。
• 当数据开发埋点出现用户账号为非邮箱账号，导致最终的统计结果不准时，您可以通过探查来确定数据分布以及异常的点，然后利用异常点确定具体的异常行数据。

前提条件 #

• 已创建支持类型的集群。注册集群的相关说明请参见集群管理。
• 已具备数据表的读取权限。申请权限的相关操作说明请参见申请权限。

操作步骤 #

1. 登录DataLeap控制台。

2. 选择数据质量 > 数据探查 > 动态探查，进入动态探查页面。
   

3. 设置探查信息。

   1. 选择探查对象。
   2. 设置探查指标。
      动态探查的相关参数说明如下表所示。其中名称前带 * 的参数为必填参数，名称前未带 * 的参数为可选参数。

   参数	说明
   选择探查对象
   *集群	要探查的数据库所属集群，支持 LAS、Apache Hadoop、MiniBase Hadoop、DWS、STARROCKS 等类型选项，下拉可选已创建的相应集群。
   *库名	要探查的数据库名称，下拉可选已创建的库。
   *表名	所选数据库下要探查的数据表名称，下拉可选已创建的表。
   负责人	数据表的负责人，选择表名后自动显示。
   *探查分区	数据表的分区字段，选择表名后自动显示。 一级分区必填，分区取值无需填写引号。例如，可填写date=20201016/hour=10/app=数据质量，无需填写date='20201016'/hour='10'/app='数据质量'。
   探查设置
   *抽样方式	提供连续抽样、过滤抽样和随机抽样三个选项。 连续抽样：按照默认顺序连续抽样前x条数据。 过滤抽样：使用where过滤语句进行过滤。 随机抽样：随机抽样x条数据。
   *抽样条件	抽样的筛选条件。 使用where过滤语句进行过滤。 当抽样方式选择过滤抽样时，需设置该参数。
   *抽样条数	抽样的数量，仅可设置为正整数，最大支持5000条。 说明 探查将消耗一定计算资源，若数量较大，探查运行时间将会变长。
   探查字段选择	要探查的表字段，默认全选，可通过详细设置按钮编辑。
   运行队列	规则使用的运行队列，下拉可选当前集群已绑定的队列。若未申请队列，请前往控制台资源管理进行申请。 仅当集群选择Apache Hadoop、MiniBase Hadoop或LAS时，需设置该参数。

4. 单击确定按钮，进入抽样探查结果页面，可查看抽样条数的快速探查结果。
   内容包括预览对象、行列数、操作步骤数等信息，并展示探查信息和数据列表。

   • 探查信息：统计字段探查信息的总结。
     • NULL值：统计该字段中，出现NULL的个数和占比。
     • 0值：统计该字段中，出现0值的个数和占比。仅支持数值类字段。
     • 枚举值：统计该字段中的枚举值，按数值从小到大排序。单击更多按钮，可查看所有枚举值，最多展示前100个。
     • 数值统计：统计该字段中分位数、均值、标准差、SUM，统计前会过滤掉NULL值。其中，分位数可选择查看10% - 90%分位数或查看25%/50%/75%分位数。仅支持数值类字段。
   • 数据列表：展示探查的全部数据集合，可以快速查看原始数据的详细内容。
     

5. 还可对探查结果执行以下操作：

   • 数据抽样
     单击数据抽样按钮，在数据抽样页面，可以编辑探查信息，对该对象进行新的抽样探查。
   • 过滤
     单击过滤按钮，在过滤页面，选择字段并设置过滤规则后，单击保存按钮，可实时查看过滤后的探查结果。
   • Group By
     单击 Group By 按钮，在 Group By 页面，选择一个或多个分组字段及其展示方式后，单击保存按钮，可以实时展示相应字段上的count(*)值。
   • 列删除
     单击列删除按钮，在列删除页面，选择一个或多个要取消显示的列字段，单击删除按钮，可以实时移除相应列的展示信息。
   • 列排序
     单击列排序按钮，在列排序页面，选择字段并设置升降序排序规则后，单击保存按钮，可实时查看按规则排序后的探查结果。
   • 操作步骤
     单击操作步骤按钮或在过滤、Group By 等各操作页面，可以查看对本次探查结果的所有操作的内容，并可编辑或删除相应的操作步骤。编辑或者删除之后会按照新的逻辑重新进行运算。
   • 在字段名称搜索框的下拉列表中，选择要查看的字段，可以快速定位该字段。
   • 单击收起/展开探查复合按钮，可以收起/展开页面上半部分的探查信息。
   • 单击全屏显示图标按钮，可全屏展示探查结果页面。

相关操作的参数说明如下表所示。其中名称前带 * 的参数为必填参数，名称前未带 * 的参数为可选参数。