You need to enable JavaScript to run this app.
导航

概述

最近更新时间2023.08.22 19:53:04

首次发布时间2023.05.17 16:39:32

1. 产品概述

为了满足日常的数据接入和开发诉求,CDP提供了 数据融合 模块来帮助数据开发人员进行数据处理工作。数据融合模块是CDP进行数据处理的主要功能模块,包括可视化建模、元数据管理、ID图谱构建、数据集、数据连接等功能

2. 使用流程

在CDP中完成数据接入和开发工作,主要有以下几个步骤:

步骤能力介绍该模块必须完成的基础工作参考图

第一步:原始数据接入

系统提供20+种数据连接方式,方便企业将数据接入CDP系统中使用,包括但不限于关系型数据库(如:MySql、Oracle、SQL Server、DB2等),大数据平台(如:Hive,Impala、Clickhouse等),MPP数据库(Postgre等),流式数据库(Kafka等)、文本数据(Excel、CSV)、飞书表格、API接口等。不仅能够对接客户内部各业务公司客户数据和业务数据接入(如:会员系统、会员中台系统等),还可以对接官方网站、APP、公众号、企业微信、巨量引擎等数据源。

需完成:将所需数据通过【数据连接】模块接入系统。

第二步:数据清洗和处理

原始数据接入CDP后无法直接使用,需要进行数据源编辑与数据的清洗。
系统内置轻量级数据清洗及可视化建模能力,通过拖拽形式添加数据处理节点,对数据进行筛选、去重、替换等清洗操作,数据清洗完成后,可以将处理完成的数据输出到目标源中。
同时可以帮助具备开发基础的人员进行数据建模工作,提供Catboost分类、K-Means聚类、决策树回归、ARIMA模型等多样化的机器学习算子,帮助用户完成数据建模工作。

需完成:

  • 配置ID mapping数据集

  • 处理数据源,输出所需数据集

第三步:数据打通,构建OneID体系

系统支持可视化地配置IDmapping逻辑,用户可以根据数据来源、数据完整度,实际业务规则设置多源数据匹配过程中的优先级,建立用户唯一标识(即OneID)。

根据业务场景判断,完成:

  • 离线ID图谱构建

  • 实时OneID配置

第四步:完成数据登记与管理

系统提供统一的元数据管理能力,包括数据源登记、行为事件、主体属性、明细数据、渠道数据的管理。这里登记完成的数据源,即后续建标签、圈人时可用的数据源。

需完成:

  • 数据源登记:如行为数据、属性数据、明细数据

  • 属性管理:如行为事件、主体属性等