You need to enable JavaScript to run this app.
导航

管理模型

最近更新时间2023.12.21 16:41:46

首次发布时间2022.10.27 11:31:11

数据模型由指标字段、维度字段组成,其数据来源可以是物理数据源,也可以是关联数据源。
定义好了需要用到的指标后,您可以创建模型,并在模型的基础上关联维度和定义的指标。

1 约束限制

仅业务线管理员或指标管理员具备操作权限。

2 前提条件

  • 概览页面,已开通湖仓一体分布式数据自治DataOps敏捷研发服务。详细操作说明请参见 DataLeap 服务信息
  • 已创建业务线。
  • 已创建所需的指标定义,才可配置指标。

3 创建模型

  1. 登录 DataLeap 控制台后,进入指标平台

  2. 在页面右上角的业务线下拉列表中,选择要管理的业务线。

  3. 选择建模研发 > 模型,进入模型页面。

  4. 单击新建模型按钮,进入创建模型页面。
    图片

  5. 设置模型信息,单击确定按钮,完成模型创建。
    新建模型相关参数说明如下表所示。其中名称前带 * 的参数为必填参数,名称前未带 * 的参数为可选参数。

    参数

    说明

    *数据源类型

    需要导入的数据源表类型,支持 ByteHouse CDW 和 Doris,下拉可选。

    基础信息

    *模型名称

    模型的名称,自行设定,同一业务线下不可重复。
    仅可由汉字、字母、数字、_、【】或() 组成。

    *负责人

    模型负责人,下拉可选,仅支持选择一个。
    默认为当前用户,可更改为当前租户下其他账号。

    分类

    模型所属分类,下拉可选。

    说明

    • 若没有可选的分类,可按需新增分类,相关操作说明请参见管理模型分类
    • 若不选择分类,则模型直接展示在根目录下。

    描述

    数据模型的详细描述信息。

    标签

    模型标签,用于查询、管理模型。自行输入设置,可设置多个。

    配置信息(ByteHouse CDW)

    *数据表类型

    支持单表和自定义SQL 两个选项。

    • 单表:选择一张表作为数据源。
    • 自定义SQL:可填写自定义SQL将多张表 join 作为数据源。

    *DB

    要导入的主表所在的数据库,下拉可选已创建的数据库。

    *主表

    要导入的主表,下拉可选已创建的表,可输入表名关键词快速搜索后选择。

    说明

    仅支持选择有整表select和show create权限的 ByteHouse 表。

    *自定义SQL

    输入自定义 SQL 语句,校验并解析通过后,表示设置成功。

    说明

    • 仅支持当前所选DB下的表进行自定义SQL。
    • 数据表类型选择自定义SQL 时,需设置该参数。

    *数据生产周期

    主表的数据生产周期,支持天级、小时级和实时三个选项。

    *主表数据类型

    来源主表数据的数据存放方式,支持单事务事实表和多事务事实表两个选项,按实际选择。

    • 单事务事实表:事实表中有且仅有一个业务过程/业务日期,只反映一个业务过程或业务日期的事实。例如,时间分区字段同时也是表中唯一的业务日期。
    • 多事务事实表:同一个事实表中包含多个业务过程或多个业务日期。 例如,表中时间分区字段不具有业务语义,表中除了包含时间分区外,还包含一个或者多个业务日期,如 start_date、register_date 等。

    业务日期字段

    业务日期标识字段,将根据该字段聚合对应业务日期数据。
    选择后,创建指标将按该业务字段聚合。如果此处不选择,则在该模型基础上创建指标时需要选择业务日期。
    主表数据类型选择多事物事实表时,可设置该参数。

    *日期分区

    主表时间分区字段,下拉可选,支持的选项为自定义SQL解析出的字段。
    数据表类型选择自定义SQL 时,需设置该参数。

    *日期分区格式

    主表时间分区字段的格式,支持 yyyy-MM-dd 和 yyyyMMdd 两个选项。

    配置信息(Doris)

    *项目空间

    Doris 数据源所在的项目,下拉可选已在数据服务产品侧创建的项目空间。创建项目空间的操作说明请参见项目管理

    *数据源名称

    Doris 数据源的名称,下拉可选所选项目下已创建的 Doris 数据源。
    选择项目空间后,才可设置该参数。

    *db

    要导入的主表所在的 Doris 数据库,下拉可选已创建的数据库。
    选择数据源名称后,才可设置该参数。

    *主表

    要导入的主表,下拉可选已创建的表,可输入表名关键词快速搜索后选择。

    *数据生产周期

    主表的数据生产周期,仅支持天级。

    日期分区

    主表时间分区字段,下拉可选。

    日期分区格式

    主表时间分区字段的格式,设置日期分区后自动填充,不可编辑。

    高级配置

    高级属性

    给模型添加高级属性信息。
    按需以 K-V 模式进行配置,即设置字段属性名称和对应的字段值。配置完成后,将在模型详情页显示该字段属性作为模型的元信息。

4 配置并发布模型

  1. 登录 DataLeap 控制台后,进入指标平台
  2. 在页面右上角的业务线下拉列表中,选择要管理的业务线。
  3. 选择指标平台 > 建模研发,进入模型页面。
  4. 单击模型目录中要编辑的模型,进入该模型详情信息显示页面。
    图片
  5. 可查看模型详情信息并执行以下操作完善模型配置。
    • 配置维度
    • 配置指标
    • 配置业务限定
  6. 单击发布按钮,在弹出窗口中,填写发布说明信息后,单击确定按钮,发布物化模型,并使配置信息生效。此时,单击已发布指标的名称,可查看该指标对应的物理实现详情。
    图片

说明

  • 模型发布物化后,才可在物化信息页签查看物化信息和物化记录。
  • 新增、编辑或删除指标/维度配置信息后,重新发布模型才能生效。
  • ByteHouse(云数仓版)数据源不需要物化,发布模型后,仅指标/维度生效。

4.1 配置维度

  1. 单击模型详情页面的指标/维度页签,进入指标/维度信息配置页面。

  2. 单击新建维度按钮,弹出新建维度窗口。
    图片

  3. 可通过以下方式,将所选字段填充在待创建维度列表中。

    • 单击左侧主表字段名称所在行的添加图标按钮。

      说明

      • 可快速筛选已配置和未配置过维度的字段,还可输入字段名或字段描述关键词快速搜索符合条件的字段。
      • 在当前模型上已经配置过维度的字段右侧将带有蓝色圆形提示。
    • 单击一键推荐按钮,在弹出的推荐窗口中,系统根据主表字段和已有维度英文名匹配,推荐检测到的维度,单击确定按钮。

      说明

      模型上已配置的维度将不做二次推荐。

    • 单击 +自定义SQL 按钮,可自定义维度名称、英文名以及维度计算逻辑。
  4. 可按需编辑维度信息后,单击确定按钮,完成维度创建。
    新建维度相关参数说明如下表所示。

    参数

    说明

    *维度名称

    新建维度的名称,自行设定,同一业务线下具有唯一性。

    说明

    系统会推荐业务线下模型上已存在的维度名称,为了名称的统一规范,请尽量和已存在的相似维度名保持一致。

    *维度英文名

    新建维度的英文名称,同一业务线下具有唯一性。
    仅可由英文、数字或下划线组成。

    说明

    模型管理以及指标应用/服务将统一使用该名称获取维度。

    关联维度

    该模型关联的维度,下拉可选已创建的维度。

    说明

    若选择关联已创建的维度,则维度名称维度英文名描述字段自动填充为该关联维度的信息。

    字段

    创建维度的字段名称。
    当选择主表字段时,该参数直接显示主表字段名称,不可编辑。

    *数据类型

    维度的数据类型,支持VARCHAR、BIGINT、DOUBLE 和 DATE四个类型选项。

    *计算逻辑

    计算逻辑为来源字段。
    如果关联了实体/码值维度,则该计算逻辑为主表外键字段。

    描述

    数据模型维度的详细描述信息。

    主键

    维度枚举值的唯一标识字段,一般为id或者码值。
    若为复合主键,则可选择多个字段。相同主键(粒度)的数据默认汇总展示在数据集市。

  5. 对已创建的维度,还可执行以下管理操作:

    • 单击维度列表中某条信息操作列的查看图标,可以查看该维度详情信息。
    • 单击维度列表中某条信息操作列的编辑图标,可以修改该维度的配置信息。
    • 单击维度列表中某条信息操作列的删除图标,弹出确认删除维度对话框,确认后可以删除该维度。

4.2 配置指标

  1. 单击模型详情页面的指标/维度页签,进入指标/维度信息配置页面。
  2. 可选择以下任一方式,完成模型指标创建。
    • 根据字段直接新建

      1. 单击新建指标 > 根据字段直接新建按钮,弹出新建指标窗口。

      2. 可通过以下方式,将所选字段填充在待创建指标列表中。

        • 单击左侧主表字段名称所在行的添加图标按钮。

          说明

          • 可快速筛选已配置和未配置过指标的字段,还可输入字段名或字段描述关键词快速搜索符合条件的字段。
          • 在当前模型上已经配置过维度的字段右侧将带有蓝色圆形提示。
        • 单击筛选按钮旁的一键配置所有字段图标。
          图片
        • 单击一键推荐按钮,在弹出的推荐窗口中,系统根据主表字段和已有衍生指标英文名匹配,推荐检测到的指标,单击确定按钮。

          说明

          模型上已配置的指标将不做二次推荐。

        • 单击 +自定义SQL 按钮,可自定义指标定义和计算逻辑。
      3. 设置指标信息后,单击确定按钮,完成模型指标创建。

        说明

        通过字段操作列的设置图标,可进一步配置该指标的业务信息、技术信息等。

        新建指标相关参数说明如下表所示。

        参数

        说明

        *指标定义

        业务线下已有的指标定义关联,下拉可选。
        仅可关联当前业务线下状态为生效中的指标。

        *计算逻辑

        指标的计算逻辑。下拉可选,支持求和、计数和去重计数三个选项;还可通过单击 </> 写自定义SQL。

        说明

        计算逻辑需与所选字段的类型相匹配。

        *查数偏移

        查询数据时查询日期偏移时间分区的量,支持多个选项,下拉可选。
        例如查指标9月1日数据,若查数偏移为${date + 0},则查询9月1日分区;若偏移为${date + 1},则查9月2日分区。

        说明

        该设置项仅针对个别留存类型指标。

        更多配置- 业务信息

        *级别

        指标级别,支持以下三个选项:

        • D1(公司级指标),支撑公司战略决策,需要在公司范围内统一:例如日活、新增、留存等。
        • D2(业务级核心指标),支持业务决策和拆分D1级指标:例如直播时长、直播观看人数、搜索次数等。
        • D3(其他分析型指标),灵活,常用于分析和辅助业务发展:例如签约主播直播时长、主动搜索次数等。

        单位

        指标的单位,如个、元、条等,按需自行设定。

        指标评价

        该指标的评价,支持正向和负向两个选项。

        • 正向:代表向上或向前发展、增长的指标,值越大评价就越好。
        • 负向:指数值越小越好。

        更多配置- 技术信息

        *产出时间

        数据产出时间,下拉可选,支持 T+n、实时等多个选项,其中 T 表示业务日期。例如:一般次日留存数据产出时间是T+2,七日留存数据产出时间是T+8。

        *日期累加

        支持全累加和不可累加两个选项。

        • 全累加:表示指标在各个维度上都可累加。
        • 不可累加:表示指标只在“日期”维度上不可累加。

        *数据类型

        指标采用的数据类型,支持 BIGINT、DOUBLE 和 DATE 三个选项。

        说明

        数据类型需与所选字段的类型相匹配。

        更多配置- 高级属性

        字段属性名称

        按需以 K-V 模式进行配置,即设置字段属性名称和对应的字段值

        字段值

        按需以 K-V 模式进行配置,即设置字段属性名称和对应的字段值

    • 根据已有指标衍生构建

      1. 单击新建指标 > 根据已有指标衍生构建按钮,弹出新建指标窗口。
      2. 选择指标、统计周期等信息,单击生成按钮,衍生构建新的指标。
      3. 配置构建指标及其他信息后,单击确定按钮,完成指标创建。

        说明

        通过指标操作列的更多配置按钮,可进一步配置该指标更多信息。

      新建指标相关参数说明如下表所示。

      参数

      说明

      *指标

      当前模型上的非衍生构建生成的指标,下拉可选,支持选择多个。

      过滤条件

      生成构建指标的过滤条件,下拉可选。
      选项为模型上已创建的业务限定,即把所选业务限定的计算口径作为表达式的过滤条件,类似于where条件。

      *统计周期

      指标数据统计范围,下拉可选。例如选择最近1天,则默认统计最近一天时间分区的数据。

      *负责人

      模型指标负责人。
      默认为当前用户,下拉可选当前租户下所有账号,支持选择多个。

      *构建指标

      指标定义

      选择一个指标关联或者直接新增一个指标,当前计算逻辑将成为关联指标的一个物理实现。

      • 当选择指标关联时,仅可关联当前业务线下状态为生效中的指标。
      • 当直接新增指标时,单击下拉框旁的 + > 直接新增指标定义按钮,设置以下参数:
        • 指标名称:原子指标的名称,默认为统计周期过滤条件原始指标的组合,可编辑。同一业务线下名称不可重复。
        • 指标英文名:原子指标的英文名称,默认为过滤条件原始指标统计周期的组合,可编辑,由字母、数字或下划线组成。同一业务线下名称不可重复。
        • 业务定义:指标口径描述。根据过滤条件原始指标统计周期自动生成,可编辑。
        • 指标分类:指标所属的分类,下拉可选该业务线下已有指标分类。
        • 业务负责人:对指标的业务口径进行答疑解释,参与指标变更沟通。默认为当前用户,下拉可选当前租户下所有账号,支持选择多个。
        • 技术负责人:对指标的技术口径及产出逻辑进行答疑解释,参与指标变更沟通。默认为当前用户,下拉可选当前租户下所有账号,支持选择多个。
        • 扩展属性的展示名:若设置了扩展属性,创建指标时会显示相应的展示名称(例如:指标自定义_测试),可按需配置。

      原始指标

      生成构建指标时选择的指标

      统计周期

      生成构建指标时选择的统计周期

      过滤条件

      生成构建指标时选择的过滤条件

      更多配置- 基础信息

      *级别

      指标级别,支持以下三个选项:

      • D1(公司级指标),支撑公司战略决策,需要在公司范围内统一:例如日活、新增、留存等。
      • D2(业务级核心指标),支持业务决策和拆分D1级指标:例如直播时长、直播观看人数、搜索次数等。
      • D3(其他分析型指标),灵活,常用于分析和辅助业务发展:例如签约主播直播时长、主动搜索次数等。

      指标评价

      该指标的评价,支持正向和负向两个选项。

      • 正向:代表向上或向前发展、增长的指标,值越大评价就越好。
      • 负向:指数值越小越好。

      更多配置- 高级属性

      字段属性名称

      按需以 K-V 模式进行配置,即设置字段属性名称和对应的字段值

      字段值

      按需以 K-V 模式进行配置,即设置字段属性名称和对应的字段值

    • 根据已有指标组合构建

      1. 单击新建指标 > 根据已有指标组合构建按钮,弹出新建指标窗口。
      2. 单击添加组合指标按钮,新增一条构建指标。
        图片
      3. 设置指标信息后,单击确定按钮,完成指标创建。

        说明

        通过指标操作列的更多配置按钮,可进一步配置该指标更多信息。

      新建指标相关参数说明如下表所示。

      参数

      说明

      *构建逻辑

      仅支持选择当前模型上的非四则运算指标,组成构建逻辑。

      指标定义

      选择一个指标关联或者直接新增一个指标,当前计算逻辑将成为关联指标的一个物理实现。

      • 当选择指标关联时,仅可关联当前业务线下状态为生效中的指标。
      • 当直接新增指标时,单击下拉框旁的 + > 直接新增指标定义按钮,设置以下参数:
        • 指标名称:原子指标的名称,默认为统计周期过滤条件原始指标的组合,可编辑。同一业务线下名称不可重复。
        • 指标英文名:原子指标的英文名称,默认为过滤条件原始指标统计周期的组合,可编辑,由字母、数字或下划线组成。同一业务线下名称不可重复。
        • 业务定义:指标口径描述。根据过滤条件原始指标统计周期自动生成,可编辑。
        • 指标分类:指标所属的分类,下拉可选该业务线下已有指标分类。
        • 业务负责人:对指标的业务口径进行答疑解释,参与指标变更沟通。默认为当前用户,下拉可选当前租户下所有账号,支持选择多个。
        • 技术负责人:对指标的技术口径及产出逻辑进行答疑解释,参与指标变更沟通。默认为当前用户,下拉可选当前租户下所有账号,支持选择多个。
        • 扩展属性的展示名:若设置了扩展属性,创建指标时会显示相应的展示名称(例如:指标自定义_测试),可按需配置。

      *负责人

      模型指标负责人。
      默认为当前用户,下拉可选当前租户下所有账号,支持选择多个。

      更多配置- 业务信息

      *级别

      指标级别,支持以下三个选项:

      • D1(公司级指标),支撑公司战略决策,需要在公司范围内统一:例如日活、新增、留存等。
      • D2(业务级核心指标),支持业务决策和拆分D1级指标:例如直播时长、直播观看人数、搜索次数等。
      • D3(其他分析型指标),灵活,常用于分析和辅助业务发展:例如签约主播直播时长、主动搜索次数等。

      单位

      指标的单位,如个、元、条等,按需自行设定。

      指标评价

      该指标的评价,支持正向和负向两个选项。

      • 正向:代表向上或向前发展、增长的指标,值越大评价就越好。
      • 负向:指数值越小越好。

      更多配置- 技术信息

      *数据类型

      指标采用的数据类型,支持 BIGINT、DOUBLE 两个选项。

      *小数点位数

      指标显示的小数点位数,下拉可选。
      数据类型DOUBLE 时,需设置该参数。
      说明
      该设置仅对预览生效。

      更多配置- 高级属性

      字段属性名称

      按需以 K-V 模式进行配置,即设置字段属性名称和对应的字段值

      字段值

      按需以 K-V 模式进行配置,即设置字段属性名称和对应的字段值

    说明

    • 创建指标后,会自动生成 api查询码,您可通过该参数获取指标数据。
    • 通过指标详情页或指标物理实现详情页,可查看 api查询码。
  3. 对已创建的指标,还可执行以下管理操作:
    • 单击指标列表中某条信息操作列的查看图标,可以查看该指标详情信息,包括api查询码。
    • 单击指标列表中某条信息操作列的编辑图标,可以修改该指标的配置信息。
    • 单击指标列表中某条信息操作列的删除图标,弹出确认删除指标对话框,确认后可以删除该指标。

      注意

      • 删除指标可能会影响下游服务使用,请谨慎删除,可前往指标详情页查看指标最近使用情况。
      • 在确认删除指标对话框的指标列表中,将同时展示依赖于当前指标构建的其他指标。删除当前指标后,会同时删除列表中的关联指标,建议先联系负责人解除依赖。

4.3 配置业务限定

  1. 单击模型详情页面的业务限定页签,进入业务限定信息配置页面。

  2. 单击新增业务限定按钮,弹出新建维度窗口。
    图片

  3. 设置业务限定信息后,单击确定按钮,完成信息配置。
    新增业务限定相关参数说明如下表所示。

    参数

    说明

    *业务限定名称

    新建业务限定的名称,自行设定。

    说明

    相同限定类型的业务限定名称不可重复。

    *业务限定英文名

    新建业务限定的英文名称,自行设定。

    说明

    相同限定类型的业务限定名称不可重复。

    *限定类型

    业务限定的数据类型,支持手动输入或下拉选择,仅支持设置一个类型。

    *计算逻辑

    业务限定的计算逻辑,按需输入自定义SQL。

    描述

    数据模型业务限定的详细描述信息。

  4. 单击列表中某条信息操作列的编辑图标,还可修改已创建的业务限定信息。

说明

业务限定仅作为过滤条件,根据已有指标衍生构建其他指标。衍生构建其他指标的相关操作说明可参见配置并发布模型 > 配置指标

5 搜索模型

  1. 登录 DataLeap 控制台后,进入指标平台
  2. 在页面右上角的业务线下拉列表中,选择要管理的业务线。
  3. 选择建模研发 > 模型,进入模型页面。
  4. 在模型目录栏,输入模型名、指标中英文名、维度中英文名或主表名的关键词后,按回车键,可搜索符合条件的数据。

6 编辑模型

  1. 登录 DataLeap 控制台后,进入指标平台
  2. 在页面右上角的业务线下拉列表中,选择要管理的业务线。
  3. 选择建模研发 > 模型,进入模型页面。
  4. 单击模型目录中要编辑的模型,进入该模型详情信息显示页面。
  5. 单击基础信息配置信息栏的编辑图标,弹出对应的信息编辑窗口,修改相应信息后,单击确定按钮,完成修改。

说明

若已配置指标/维度、业务限定等信息,也可进行相应的编辑,相关操作可参见配置并发布模型

7 删除模型

  1. 登录 DataLeap 控制台后,进入指标平台
  2. 在页面右上角的业务线下拉列表中,选择要管理的业务线。
  3. 选择建模研发 > 模型,进入模型页面。
  4. 单击模型目录中要编辑的模型,进入该模型详情信息显示页面。
  5. 单击页面右上角的删除按钮,弹出确认删除模型对话框,单击全部删除按钮,即可删除该模型。

注意

删除模型后,其下创建的指标将一并删除,不可再使用,需谨慎操作。

8 管理历史版本

  1. 登录 DataLeap 控制台后,进入指标平台
  2. 在页面右上角的业务线下拉列表中,选择要管理的业务线。
  3. 选择建模研发 > 模型,进入模型页面。
  4. 单击模型目录中要编辑的模型,进入该模型详情信息显示页面。
  5. 单击页面右上角的历史版本按钮,在弹出的窗口中,可以查看模型版本历史详情并执行以下操作:
    • 单击其中一个版本操作列的查看按钮,可以查看该版本的模型详情。
    • 单击其中一个版本操作列的恢复至草稿按钮,可以将该版本恢复至草稿后,重新发布。

9 回溯模型

  1. 登录 DataLeap 控制台后,进入指标平台
  2. 在页面右上角的业务线下拉列表中,选择要管理的业务线。
  3. 选择建模研发 > 模型,进入模型页面。
  4. 单击模型目录中要编辑的模型,进入该模型详情信息显示页面。
  5. 单击页面右上角的回溯按钮,在弹出的窗口中,选择业务日期后,单击确定按钮,可对模型对应的物化任务发起数据回溯。

说明

  • 模型发布物化成功后才可回溯。否则,回溯按钮灰显。
  • ByteHouse(云数仓版)数据源不支持回溯。