You need to enable JavaScript to run this app.
文档中心
大数据研发治理套件(私有化)

大数据研发治理套件(私有化)

复制全文
模型管理
配置并发布模型
复制全文
配置并发布模型

创建模型成功后,可补充配置模型其他信息。由于部分字段配置项会依赖模型相关的配置校验(如模型粒度、Cube组合等),建议完成所有模型配置后再进行字段配置

约束限制

  • 仅业务线管理员或指标管理员具备操作权限。
  • 仅开启数据查询的模型才支持发布。

前提条件

  • 已创建模型。
  • 已创建所需的维度/指标,才可配置字段维度/指标。

配置模型

  1. 登录 DataLeap 控制台,进入指标平台
  2. 在页面右上角的业务线下拉列表中,选择要管理的业务线。
  3. 选择指标管理 > 模型管理,进入模型管理页面。
  4. 可查看模型详情信息并执行以下操作完善模型配置。
    • 模型配置
    • 字段配置

模型配置

  1. 可通过以下方式进入模型配置页面。

    • 创建模型成功后,会直接进入该模型的配置页面。
    • 通过模型列表操作列或模型详情右上角处的编辑按钮,也可快速访问配置页面。
      Image
  2. 设置模型配置参数。

    参数

    说明

    数据来源

    模型粒度

    代表数据模型唯一行标识的字段。
    **特别注意,**此处配置会影响查询正确性,与指标累加性配置强相关。指标累加性配置相关说明可参见字段配置的参数说明。

    说明

    • 模型粒度与表主键不一定完全等,如果您的数据表已经通过过滤条件在指定了某些字段的唯一值并且不再使用这些字段定义指标维度时,则这类字段将不应设置为模型粒度。
    • 设置为模型粒度表字段必须在后面字段配置时,关联具体维度或者设置为业务时间。

    其他参数

    其他参数说明可参见创建模型的参数说明。

    查询配置

    *数据生产周期

    默认非实时,设置为实时后将不进行数据就绪判断。

    数据生命周期

    对应表数据生命周期,设置当前模型上所有指标允许最大查询周期,支持永久自定义两个设置选项。
    根据模型生命周期,指标服务会做出以下策略:

    1. 查询取数时,优先取覆盖用户查询时间范围内数据完整的模型。
    2. 如果全部模型都无法完整覆盖用户选的时间范围,在查询结果中返回信息,告知应用调用方数据不完整。

    过滤条件

    模型级过滤条件,将对模型上所有指标维度查询生效,支持使用一些特殊时间变量来动态设置过滤条件,详细说明请参见变量说明

    Cube组合配置

    如果您开发数据表为多维立方体(Cube)表,需要在此处配置组合条件,指标服务将基于您的配置适配对应查询条件,特别注意此处配置会影响查询正确性。
    每个组合配置项包含类型和字段两部分内容。

    • 类型:支持全cube 和自定义cube 两个选项,根据实际情况选择。
      • 全cube:模型所有维度都支持上卷,默认cube维度值为all。
      • 自定义cube:部分维度支持上卷或cube维度值不一致,创建模型后,配置维度时自定义填写cube信息。
    • 字段:下拉可选表的字段信息,支持多选。

    说明

    1. 设置为Cube组合字段必须在后面字段配置时,关联具体维度。
    2. 可以通过每行配置后方的预览功能,实际查看组合。

    cube字段默认值

    为cube字段的设置默认值。
    Cube组合配置选择字段后,自动显示该参数及相应的字段信息列表。可为每个字段设置默认值,支持选项自定义IS NULL无默认值,下拉可选。当选择自定义时,按实际填写默认值,如all、整体、全部等。

    高级配置

    高级属性

    不同业务线定制参数配置。每个属性包含属性名属性值两部分设置内容。

  3. 可单击保存按钮完成模型配置。

字段配置

  1. 单击字段配置页签,进入字段配置页面。
    Image
  2. 可通过以下方式添加字段后,设置相关参数。
    • 单击系统推荐按钮,会将表字段和业务线已有维度英文名做自动匹配并展示在下方列表中。
    • 单击添加字段添加一行按钮,可以自定义添加空白行。默认字段类型为指标,可按需更改。
    • 单击快速添加按钮,可展开字段列表,并通过单击列表内容快速添加指标、维度。

    说明

    • 已配置过的维度将不会做二次推荐。
    • 快速添加指标维度的规则如下:
      • 使用原始字段作为默认计算逻辑。
      • 指标类型默认采用求和(SUM)计算。
      • 数值类型(如bigint、float、double等)默认识别为指标、非数值类型默认识别为维度。
  3. 单击某条字段信息操作列的配置按钮,在弹出的侧拉窗口中,设置相应类型的其他配置项后,单击确定并返回按钮完成该字段配置。

    说明

    当勾选多个指标、维度信息时,通过列表下方显示的相应按钮,可执行批量修改、删除操作。仅支持批量修改部分配置信息。

  4. 单击保存按钮完成所有配置。

字段配置相关参数说明如下表所示,其中名称前带 * 的参数为必填参数,名称前未带 * 的参数为可选参数。

参数

说明

*字段类型

支持指标、维度、时间三种字段类型:

  • 指标:指标在查询时会进行聚合,默认聚合计算条件为求和(SUM)。
  • 维度:维度在查询时作为过滤(where)或者分组(group by)条件,跨模型查询时会先将维度对齐后再计算指标。
  • 时间:查询指标对应具体的业务时间字段,一个指标仅可设置一个业务时间,当模型上存在多个业务时间时,需要在不同指标上正确设置配置其对应的业务时间,否则可能会导致查询结果数据错误。

说明

  • 指标无法进行明细过滤(where)。
  • 维度无法进行聚合计算。
  • 可以为多个业务时间设置不同名称(如下单时间、支付时间、退款时间等),方便在指标设置时进行区分。
  • 模型类型维表时,不支持选择指标。

*名称

  • 如果字段类型为指标或维度,则从下拉框中选择已创建的相应选项,关联具体指标、维度。
  • 如果字段类型为时间,则可自定义输入命名。

*计算逻辑

指标、维度、时间的具体查询逻辑,指标默认会带聚合口径,无需在计算逻辑中填写,也可以使用自定义口径,来编写复杂指标计算逻辑。
可手动输入,也可通过单击计算逻辑的编辑图标,在弹窗编辑器中,选择展示的字段列表,更便携的编写SQL。

说明

计算逻辑为原始数据源语言,例如当您选择Clickhouse时,应采用ClickhouseSQL语法编写。

指标配置

*可累加性

根据指标在模型的可累加性进行配置,有关可累加性的具体说明可参见可累加性说明

  • 全可累加:指标可以在模型上按任意维度或完全聚合(不group by任何维度)查询。
  • 全不可累加:指标只可在模型粒度(主键)上查询,即查询时必须按模型粒度(主键)进行分组(group by)或者指定模型粒度(主键)唯一值(where)。
  • 半可累加:指标只可在特定维度进行聚合,即查询时在模型不可累加维度上必须进行分组(group by)或者指定唯一值(where)。

*指标延时

代表指标拥有的最新的数据偏移量,通常无需配置此项,按默认值即可。
配置指标时延后在查询时会将“未产出”数据转为Null处理,例如指标时延为1天,则最新数据为昨天数据;查询如果超过最新数据时,指标值转Null处理而非转0处理,该项默认0天。

过滤条件

指标级过滤条件,仅对该指标查询时生效,支持使用一些特殊时间变量来动态设置过滤条件,详细说明请参见变量说明

单位配置

当指标配置了单位类型时,此处支持配置指标在模型上的具体单位。当指标单位类型配置为系统内置单位类型(人民币类型或时长类型),此处必填。

  • 人民币:厘、分、角、元
  • 时长:毫秒、秒、分钟、小时、天、周、年

当指定单位类型后,指标服务会在查询结果中附带单位信息返回,同时支持调用应用方通过内置单位类型进行转化(例如底表单位为小时可以转化为分钟展示结果)。

*业务时间

配置指标对应的业务时间,当模型上有多个业务时间时,需要明确指定否则可能导致查询数据错误。

维度配置

*维度范围

模型包含维度的范围,默认全部值。当您的模型只包含部分维度范围时,可选择自定义,并配置包含的具体维度值,如生活服务、电商等。

*数据类型

支持字符串数值两个类型选项。
数据类型会影响维度过滤时的SQL查询逻辑,如下所示:

--数值型维度
where 维度>100 and ...
--字符串型维度
where 维度>'100' and ...

错误的配置数据类型可能会导致查询报错或查询结果不符合预期。

关联配置

仅支持外键选项。
勾选后,可用来关联事实表,并下沉推导查询。在模型发布后,系统将会自动寻找可关联的维表进行关联,自动关联逻辑请参见维度建模配置

时间配置

*最细粒度

设置业务时间字段对应的实际粒度,例如字段可能是UNIX秒级时间戳格式但对应查询粒度最细到天。

*时间格式

目前支持10/13位UNIX时间戳、yyyymmdd、yyyy-mm-dd四种时间格式识别和转化处理。如果您有其他时间格式,请通过自定义计算逻辑转化成以上四种时间跟格式后配置。

*类型

时间字段的类型,支持开链时间封链时间两个选项。
一般用于拉链维表的配置。拉链维表通常有两个时间字段,分别对应开链时间和封链时间。

说明

配置关联字段时,还支持批量添加/下载操作,相关说明可参见管理字段配置信息

变量说明

在查询数据时,往往会根据用户的查询条件动态生成一些指标级/模型级过滤条件而且非固定条件,针对此类产品提供了针对时间的动态变量来适应灵活的查询场景。

  • 配置格式说明

    1. 指标查询时需要指定的过滤字段以及值(或变量),格式如下:

      字段='值(变量)' AND 字段=值(变量)
      
    2. 当字段为string类型时,使用需要带上引号,例如:

      p_date='${last_date}'
      

    说明

    当用户查询多个指标的过滤条件不同时,指标服务会拆分多个子SQL分别查询模型数据。

  • 时间变量说明

    变量

    说明

    ${DATE}

    系统时间,yyyy-mm-dd,例如2024-04-01

    ${date}

    系统时间,yyyymmdd,例如20240401

    ${DATE-N}

    N天前的DATE

    ${date-N}

    N天前的date

    ${LAST_DATE}

    基于就绪判断最新分区时间,DATE格式

    ${last_date}

    基于就绪判断最新分区时间,date格式

    ${FDATE}

    业务时间,yyyy-mm-dd,例如2024-04-01

    ${fdate}

    业务时间,yyyymmdd,例如20240401

    ${FDATE+N}

    N天后的FDATE

    ${fdate+N}

    N天后的fdate

  • 关于系统时间与业务时间说明

    • 系统时间
      与开发平台概念一致,即执行查询的时间。通常适用于全量表,查询T-1的数据。例如用户在2024-04-02执行查询,那么对应配置p_date='${date-1}',查询分区p_date='20240401',如您不希望指定具体分区时间,而使用系统分区就绪判断逻辑选择最新就绪的分区,则可使用p_date='${last_date}'来动态指定查询分区。
    • 业务时间
      用户查询的时间。通常适用于增量表,查询时间与分区时间一致(或有固定偏移如留存类指标)情况。例如用户选择查询2023-01-01至2023-12-31号的数据查询,那么对应配置p_date='${fdate+1}'时,查询分区p_date=20230102'至p_date='20240101'。
  • 案例说明
    假设业务计算留存指标模型字段结构如下:

    字段

    字段描述

    计算逻辑

    p_date

    分区,数据写入时间

    date

    业务时间

    retetion_days

    7日留存天数

    retetion_rate_7d

    7日留存率

    case when retetion_days='7' then retetion_rate_7d else null end

用户查询2024.6.1~2024.6.10范围的,7日留存率指标时,查询逻辑如下:

SELECT `date`,
       (case when retetion_days='7' then retetion_rate_7d else null end) as retetion_rate_7d --7日留存率
FROM time_var_test
WHERE `date`>='2024-06-01' and `date`<='2024-06-06' --用户查询的范围
       and p_date>='2024-06-08' and p_date<='2024-06-13' --7日留存需要推迟7天才可以计算出来因此实际数据写入的是+7日分区

由于7日留存率指标计算与实际时间有+7天的偏差,因此p_date分区条件需要根据用户查询的实际时间进行动态偏移。针对此种情况,可以在指标过滤条件配置处,使用时间变量进行动态偏移。

p_date='${FDATE+7}'
--p_date格式为yyyy-mm-dd因此使用大写变量
--p_date与实际业务时间向后偏移7天,因此需要+7
--此处请一定注意+/-号使用,否则可能导致查询错误的分区数据

可累加性说明

指标可累加性又可以称为指标可聚合性,主要用于判断某个指标是否可以在模型上按某种粒度进行聚合计算,我们举一个例子来说明,假设数据表为 日期 x 城市 x 性别 维度的活跃用户表:

字段

字段描述

计算逻辑

p_date

日期

p_date

city

城市

city

gender

性别

gender

act_user_num

活跃用户数

sum(act_user_num)

从业务视角来看,因为用户性别是归一的(即用户是男、女)不存在变化,因此可以在性别维度上做聚合计算活跃用户数,但城市和日期维度上并不归一(同一用户可能多天活跃或者存在不同城市),因此无法在这2个维度上进行聚合计算。因此可以判定:“活跃用户数这个指标在这个模型上是半可累加的,即在性别维度上可累加。”
指标服务会基于配置的可累加性,对查询进行合法性校验,确保不会将数据进行错误的聚合计算,一些判定场景示例如下:

是否可查

SQL

可查
所有维度均GROUP BY。

SELECT p_date,
       city,
       gender,
       sum(act_user_num)
FROM table_test
WHERE p_date<='20231226'
      AND p_date>='20231201'
GROUP BY p_date,city,gender

可查
未GROUP BY的不可累加维度字段指定唯一值。

SELECT sum(act_user_num)
FROM table_test
WHERE p_date='20231226' AND city='北京'

不可查
在城市维度上卷。

SELECT sum(act_user_num)
FROM table_test
WHERE p_date='20231226'

不可查
城市维度使用or逻辑过滤,无法确定唯一值,上卷后可能造成重复数据加和。

SELECT sum(act_user_num)
FROM table_test
WHERE p_date='20231226'
      AND (city='北京' OR city='上海')
--    AND city IN ('北京','上海')

测试并发布模型

配置好模型后,即可测试并发布模型。模型测试是对模型编辑中内容做前置配置准确性判断的重要环节,建议所有开启查询的模型在发布操作前都经过严格的模型测试。模型发布是开启查询模型的草稿版本在指标服务/风神指标查询生效的必要操作。
模型测试、发布主要针对当前操作版本,步骤如下:

  1. 登录 DataLeap 控制台,进入指标平台

  2. 在页面右上角的业务线下拉列表中,选择要管理的业务线。

  3. 选择指标管理 > 模型管理,进入模型管理页面。

  4. 单击列表中要发布的模型名称,进入该模型详情信息显示页面。
    Image

  5. 单击测试按钮,在弹出的侧拉窗口中,设置测试信息并单击测试按钮后,即可通过窗口下方的数据预览查看执行结果,并可结合执行SQL判断指标和维度的配置逻辑是否准确。

    参数

    说明

    *时间

    默认测试均需指定明确的时间粒度和范围。时间粒度支持选项按天、按周、按月、按年,下拉可选。

    *指标

    每次查询必须选择至少一个指标,支持选择模型当前版本关联的指标。

    维度

    当需要按照固定维度分组查询数据时,可选择模型当前版本关联维度查询。

    明细筛选

    通常选择指定的维度值过滤。

    结果筛选

    对指标的计算结果值过滤。

    排序

    要查询的指标/维度的测试结果的排序方式,下拉可选要查询的指标/维度以及排序方式,支持设置多个条件。

    Limit

    限定模型测试结果返回行数,默认为10,可编辑。

  6. 测试无误后,单击发布按钮,弹出模型发布检查窗口,待检查通过后,单击确定按钮,系统提示发布申请提交成功。

    说明

    • 模型发布检查主要包括基础约束检查、影响分析等内容: 模型发布约束包括:1)模型、指标、维度等必填项非空;2)cube字段必选全部关联维度; 3) 模型粒度字段必须全部关联维度;4)指标表达式、过滤条件、模型查询约束等需通过基础语法校验。
    • 影响分析主要帮助用户快速判断关联的指标维度变化是否影响下游专题、应用查询,并统计当前模型在对应专题和应用30日查询次数,降低用户误操作概率。
  7. 可前往审核中心查看该模型的审批进度,待审批通过后,模型正式上线。
    模型发布审批操作说明可参见审核中心

其他管理操作

下线模型

模型下线是模型发布的逆向操作,即将可查询的模型转换为不可查询状态,模型状态由“已上线”转为“草稿”。

  1. 登录 DataLeap 控制台,进入指标平台
  2. 在页面右上角的业务线下拉列表中,选择要管理的业务线。
  3. 选择指标管理 > 模型管理,进入模型管理页面。
  4. 单击列表中某条已上线信息的模型名称,进入该模型详情信息显示页面。
  5. 单击 ︙ > 下线按钮,二次确认后,完成模型下线。

注意

模型下线操作对指标服务或者风神指标查询等场景立即生效,需谨慎操作。

管理历史版本

所有开启查询的模型支持历史配置版本查看、回滚、对比功能。模型的历史版本分为以下两类:

  • 草稿版:当前正在编辑或仅保存未发布的版本。
  • 正式版:已发布的配置内容,模型发布后系统将自动增加模型版本号。

管理模型历史版本的操作步骤如下:

  1. 登录 DataLeap 控制台,进入指标平台
  2. 在页面右上角的业务线下拉列表中,选择要管理的业务线。
  3. 选择指标管理 > 模型管理,进入模型管理页面。
  4. 单击列表中某条信息的模型名称,进入该模型详情信息显示页面。
    Image
  5. 单击页面右上角的历史版本按钮,在弹出的窗口中,可以查看模型版本历史详情并执行以下操作:
    • 单击其中一个版本操作列的查看按钮,系统将在当前模型页面自动覆盖并展示所选版本配置详情,历史版本配置测试、回滚等可直接使用覆盖配置后的最新信息。
    • 勾选两条版本信息,单击版本对比按钮,可以对比两个版本的模型查询配置、字段配置等内容信息。

复制查询信息

  1. 登录 DataLeap 控制台,进入指标平台
  2. 在页面右上角的业务线下拉列表中,选择要管理的业务线。
  3. 选择指标管理 > 模型管理,进入模型管理页面。
  4. 单击模型目录中要编辑的模型,进入该模型详情信息显示页面。
  5. 单击页面右上角的 ︙ > 复制查询信息按钮,可复制模型基本信息以及已发布的指标和维度详情为json格式,以供DSE服务调用。

编辑模型基本信息

  1. 登录 DataLeap 控制台,进入指标平台

  2. 在页面右上角的业务线下拉列表中,选择要管理的业务线。

  3. 选择指标管理 > 模型管理,进入模型管理页面。

  4. 单击列表中某条信息的模型名称,进入该模型详情信息显示页面。

  5. 单击 ︙ > 编辑基本信息按钮,在弹出的窗口中,可以编辑该模型的基本信息。

    参数

    说明

    描述

    模型的描述信息,长度不超过300个字符。

    标签

    模型的标签,下拉可选业务线下已配置的标签。配置标签的操作说明可参见标签管理

    其他参数

    模型其他基础注册信息模型名称、负责人、编辑人、所属分类等参数说明可参见创建模型的参数说明。

说明

处于发布申请审批中的模型不支持该操作。

管理字段配置信息

  1. 登录 DataLeap 控制台,进入指标平台
  2. 在页面右上角的业务线下拉列表中,选择要管理的业务线。
  3. 选择指标管理 > 模型管理,进入模型管理页面。
  4. 单击列表中某条信息的模型名称,进入该模型详情信息显示页面。
  5. 单击字段配置页签,进入该模型的字段配置页面。
    Image
  6. 可执行以下操作:
    • 批量添加字段
      单击批量添加按钮,在弹出的窗口中,下载模板并填写信息后上传文件,完成关联字段的批量添加。
    • 批量下载字段
      单击批量下载按钮,将自动下载模型上所有字段配置内容,并以表格形式保存到本地。
    • 搜索字段
      设置搜索条件,可以查看符合条件的关联字段信息列表。
    • 查看字段详情
      单击某条信息操作列的详情按钮,可以查看该关联字段的详情信息。
    • 查看血缘关系
      单击某条关联指标信息操作列的血缘按钮,可以按需查看该指标的血缘关系。

后续操作

配置并发布模型后,下游消费(如BI看板)即可从指标平台调用数据,用于管控下游消费出口,从消费上收口指标。

最近更新时间:2025.02.27 17:51:11
这个页面对您有帮助吗?
有用
有用
无用
无用