You need to enable JavaScript to run this app.
导航

资产输出概述

最近更新时间2024.02.06 15:54:42

首次发布时间2023.05.17 16:39:32

1. 产品概述

资产输出模块支持客户下游系统对接 CDP,用户将CDP上创建的数据资产输出到如自有数据库,以便进行灵活处理应用或分析工作。

2. 使用限制

需要具备功能权限(即项目中心-权限-编辑资产输出任务的权限)+资源权限(需要用到的标签&属性的权限),才可以使用该功能。

3. 支持输出的资产类型

*注意:SaaS环境中不支持资产输出到Kafka。

数据资产类型支持输出的资产说明支持的资产输出方式

标签

离线&实时标签结果表
标签结果+ID类型

  • 离线数仓高表&宽表输出
实时标签和标签变更- Kafka输出
查询用户 ID 身上的标签- 高速API输出
分群一个id是否在某个分群中- 高速API输出

仅分群结果
分群+标签/属性/ID类型

  • 第三方存储输出
属性查询用户 ID 身上的标签- 高速API输出
GMP回流数据集指定有base_id列的数据集- 离线数仓宽表输出
行为数据行为表变更- Kafka输出
4. 支持的资产输出方式

支持的输出方式

说明

支持输出的数据资产类型

输出频率

数据更新方式

上游依赖

是否支持自定义依赖配置

任务输出时间(当天为T)

上游取数时间(当天为T)

离线数仓高表

高表是指很多行较少列,即行多列少,一行中的数据量较少,行数大

标签

定时输出(支持小时级、天、周、月)
单次输出

全量更新

依赖上游标签就绪

T(即当天)

取T-1(即前一天)的数据

离线数仓宽表

宽表是指很多列较少行,即列多行少的表,一行中的数据量较大,行数少

数据集

定时输出(支持小时级、天、周、月)
单次输出

全量更新

数据集

T(即当天)

由数据集注册方确定

标签依赖上游标签就绪T(即当天)取T-1(即前一天)的数据

API

接入API 后服务即可生效(已对接过的接口无需重复接入)

标签、属性、分群和分群附带信息

单次输出

分群一次性更新

依赖上游分群就绪

T(即当天)

取最新数据

分群按天更新依赖的是当天的分群任务T(即当天)取T(即当天)的数据,实时分群数据取 T-1

Kafka

系统会对数据做一些预处理,并将实时数据写入到消息队列 Kafka 供下游各类计算模块使用

标签、行为

实时输出

增量更新

/

/

/

第三方存储

数据输出到第三方服务商的存储系统中

分群

单次输出

分群一次性更新

依赖上游分群就绪

T(即当天)

取最新数据

分群按天更新依赖的是当天的分群任务T(即当天)取T(即当天)的数据,实时分群数据取 T-1
5. 支持输出的下游存储方式
类型存储名称输出连接限制支持的产品版本支持部署形态

表名 (不支持特殊字符,只统计中文、数字、中英文、下划线)

列名

不支持类型

以字母开头

外置存储

Las(版本号:2.0)

小写字母、数字、下划线

小写字母,数字,下划线

必须

1.21

私部

外置 hive小写字母、数字、下划线小写字母,数字,下划线必须1.21私部

内置存储

内置hive

小写字母、数字、下划线

不支持array

必须

1.19.2

私部

1.20.1(LAS)saas 托管账号

内置hdfs

小写字母、数字、下划线

/

必须

1.19.2

私部

1.20.1(LAS)saas 托管账号

第三方云存储

火山引擎云存储

/

小写字母、数字、下划线

/

必须

1.19.2

私部

1.20.1saas托管账号
1.20.1saas非托管账户

阿里云存储

/

小写字母、数字、下划线

/

必须

1.19.2

私部

1.20.1saas托管账号
1.20.1saas 非托管账户

腾讯云存储

/

小写字母、数字、下划线

/

必须

1.19.2

私部

1.20.1saas托管账号
1.20.1saas 非托管账户
kafkakafka////1.17私部

说明

  • 配置资产输出任务时,前置需要完成对应数据连接

  • 1.21 版本私部版本默认开启外置hive,Saas版本默认关闭外置hive和las,如有需要,请联系您的商务同学。

6. 操作步骤

6.1 新建资产输出任务

输出各类数据资产的操作步骤如下:

类型操作说明
输出标签标签资产输出操作说明
输出分群分群资产输出操作说明
输出GMP回流数据集GMP回流数据集输出操作说明
输出属性属性输出操作说明
输出行为行为输出操作说明

6.2 资产输出任务管理

  • 在任务列表页,我们可以搜索、查看具体任务的基本信息,包括输出方式、当前状态、创建时间、创建人等

  • 也可以对具体任务进行编辑、删除以及手动启动、停止操作,针对性管理输出任务