You need to enable JavaScript to run this app.
导航

数据集的可视化查询配置

最近更新时间2023.11.16 16:37:49

首次发布时间2022.03.25 15:17:36

1. 概述

在数据集列表中,单个数据集的操作项目包含了数据集的可视化查询配置。智能数据洞察支持以可视化的方式配置数据集在参与前端查询分析时候的一些属性,该功能模块主要在数据集数量较大的时候,与查询性能有关系,一般建议在查询速度过慢的时候开启,建议数据集管理员/数据相关人员进行判断。

2. 快速入门

(1)进入自己所在的项目;
(2)点击数据集;
(3)点击数据集列表中对应数据集的配置项(如图);
(4)点击「可视化查询配置」;

说明

V2.40 版本及之前,该功能叫做「可视化功能开关」


(5)如下图所示,可以根据实际情况配置推送控制、查询控制以及更多设置。
alt

说明

V2.40 版本及之前,该功能只有自动查询、数据集订阅/订阅、新建监控三个功能点

3. 功能介绍

3.1 推送控制

alt

3.1.1 数据集订阅

  • 数据集一般是允许在分析查询中订阅的,在数据本身是大量级清单明细数据的情况下,建议关掉该功能(即选择不允许)

  • 一旦选择不允许,那么该数据集不参与订阅查询,所制作图表数据在仪表盘订阅的截图中无法显示,但是在实际打开仪表盘中可以正常显示;如下图,左侧图表数据集的订阅选择【不允许】,右侧图表数据集是默认【允许】,在订阅的消息推送截图如下所示

alt

  • 选择【不允许】订阅不会影响在可视化查询中使用和仪表盘中正常查看具体数据。

3.1.2 新建监控

  • 数据集一般是允许在分析查询中进行监控的,但在数据本身是大量级清单明细数据的情况下,建议关掉该功能(即选择不允许)

  • 一旦选择不允许,那么该数据集不参与新建监控,所制作图表【新建监控】功能不可使用;如下图,左侧图表数据集的新建监控选择【不允许】,右侧图表数据集是默认【允许】

alt

  • 选择【不允许】新建监控不会影响在可视化查询中使用和仪表盘中正常查看具体数据

3.2 查询控制

alt

3.2.1 自动查询

  • 数据集对应可视化查询的【自动查询】功能默认开启,在数据本身是大量级清单明细数据的情况下,建议关掉该功能(即选择不允许)。

  • 选择不允许之后,在可视化查询的时候,会默认关掉自动查询,手动点击查询之后,才会从数据集查询数据

  • 选择不允许自动查询对仪表盘的呈现无影响

3.2.2 筛选搜索优化

  • 该功能影响范围为图表筛选器公共筛选器

  • 设为允许时,筛选器在精确搜索列表中,搜索数据项时优先走前端缓存,筛选效率更高;

  • 设为不允许,会在列表中搜索数据项全量查最近30天的后端数据,保障数据完整性,若分区不满足30天,则按照真实天数获得。

说明

如果筛选器中的数据集来自多个数据集,数据集有的设置为允许筛选搜索优化,有的不允许,则都会按照不允许筛选搜索优化的情况来看

3.2.3 查询天数限制

用户支持对数据集设置查询天数限制,当设置了查询天数限制后,数据集用户仅能查询限制天数内的数据。
说明: 如果使用的数据集已经配置了做可视化查询时候的“最大查询天数”的限制条件,那么在可视化查询中基于该数据集进行查询和筛选器配置时,筛选器也会同步生效。当用户给数据集设置的最大查询天数 <= 仅展示最近N天抽样数据的时候,则“仅展示最近N天抽样数据”。

3.2.4 明细字段

支持将数据集中的字段设置为明细字段,当查询中未添加指标时,该字段仅可进行明细查询。altalt可点击切换到明细表切换至明细表进行查询。alt

3.3 更多

  • 默认可视化查询

支持对当前数据集设置默认可视化查询链接,当配置了默认可视化查询链接后,用户在数据集打开可视化查询时,会自动进入配置的默认查询中。
alt

3.4 超时节点

  • 在查询数据量极大的情况下,数据返回时间会很久,假设此时对数据精准度要求不高(比如汇总统计结果为 100,可以允许返回统计结果为99.98),则可以设置允许舍弃超时节点。

注意

该功能请谨慎使用

  • 选择舍弃之后,则需要设置超时时间和报错比例
    • 超时时间:每个数据查询节点的数据查询的返回时间,默认值为 100ms,可以根据实际情况调整;即某个查询节点查询时间超过该时间,则该节点数据结果不返回

    • 报错比例,如下是 0.100,如果超过上述时间的节点数/总查询节点数>=10%,则该数据集查询报错,不返回数据;如果超过上述时间的节点数/总查询节点数<10%,则该数据集查询正常返回数据。注意该比例精度为小数点后三位。

  • 默认不舍弃,不会影响在可视化查询和仪表盘的数据结果

3.5 对历史存量资源的影响

资源描述自动查询订阅/数据集订阅新建监控筛选搜索优化超时节点
数据集无影响,默认允许无影响,默认允许无影响,默认允许无影响,默认允许无影响,默认不允许
可视化查询图表无影响,默认允许无影响,默认允许无影响,默认允许无影响,默认允许无影响,默认不允许
仪表盘无影响,默认允许无影响,默认允许无影响,默认允许无影响,默认允许无影响,默认不允许

3.6 长周期查询配置

  • 在查询长时间周期范围数据的时候,支持使用Presto引擎查询Hive表。

alt

3.7 Null join

  • 对于可视化查询结果有疑问的情况下,当用户当前查询包含lod、可视化join、同环比、对比功能时,进行null值提示。点击“前往开启”,则关闭当前排查弹框,点开“查询配置”。

  • 在“查询配置”窗口中,可以进行缓存、抽样、join的配置;

alt

  • Null join 说明:
    • 当前查询采用了可视化 join、同环比、对比,或者参与绘图的字段 是 lod 字段时,支持 Null join 配置:
      • Null join 配置只支持抽取类型的数据集。
      • 展示“join”对应的配置,默认不勾选。
      • 当不再符合以上条件,则此选项置灰,为不可选中状态。
4. FAQ
  • 为什么要在数据集上限制用户是否允许开放这些「订阅」和「新建监控」基础功能?

--因为有的使用者数据集超大,查询起来性能较差;同时由于订阅和监控会定时扫全量数据,对数据存储计算引擎造成较大影响;比如一些全量广告明细清单数据会被用到订阅/监控中,这种场景本身是不建议用在订阅和监控中的。因此针对这种大量级清单明细数据提供是否允许订阅和是否允许监控的功能开关,以便使用者根据实际情况更改。