系统提供30+种数据连接方式,方便企业将一方数据接入CDP系统中使用,包括但不限于关系型数据库(如:MySql、Oracle、SQL Server、DB2等),大数据平台(如:Hive,Impala、Clickhouse等),MPP数据库(Postgre等),流式数据库(Kafka等)、文本数据(Excel、CSV)、API接口等。不仅能够对接客户内部各业务公司客户数据和业务数据接入(如:会员系统、会员中台系统等),还可以对接官方网站、APP、公众号、小程序、服务号等数据源。
为了尽可能多的接入用户相关数据,建设更准确完善的数据画像,CDP系统支持企业接入三方数据。三方数据可能来源于不同的平台和渠道,此时可以发挥系统文本数据接入和API数据接入的能力,通过文本数据导入功能,能够通过界面直接导入Excel和Csv数据,并将这部分数据在平台中存储下来。用户可以自定义导入数据的生命周期和更新周期。同时,系统还提供巨量引擎、巨量千川、抖店、内容平台等数据的接入能力,进一步丰富企业数据。
需项目管理员在 项目中心-权限 中,给对应用户开启 元数据管理 模块的权限,及 项目编辑或管理 权限。
仅 集团管理员 可以构建及编辑ID图谱
使用该功能时请确保您的网络环境处于外网环境
| 数据源名称 | 支持连接方式 | 支持环境 | |
|---|---|---|---|
| 关系型数据库 | MySQL | 抽取 | SaaS、私有化部署 |
| IBM DB2 | 抽取 | SaaS、私有化部署 | |
| Oracle | 抽取 | SaaS、私有化部署 | |
| PostgreSQL | 抽取 | SaaS、私有化部署 | |
| SQL Server | 抽取 | SaaS、私有化部署 | |
| Teradata | 抽取 | SaaS、私有化部署 | |
| Doris | 抽取 | SaaS、私有化部署 | |
| 达梦 | 抽取 | SaaS、私有化部署 | |
| OceanBase MySQL | 抽取 | SaaS、私有化部署 | |
| OceanBase Oracle | 抽取 | SaaS、私有化部署 | |
| OpenGauss | 抽取 | SaaS、私有化部署 | |
| 流式数据 | Kafka | 抽取 | 私有化部署 |
| Pulsar | 抽取 | 私有化部署 | |
| OLAP | AnalyticDB for MySQL 2.0 | 抽取 | SaaS、私有化部署 |
| AnalyticDB for MySQL 3.0 | 抽取 | SaaS、私有化部署 | |
| Greenplum | 抽取 | SaaS、私有化部署 | |
| SAP HANA | 抽取 | SaaS、私有化部署 | |
| Impala | 抽取 | SaaS、私有化部署 | |
| Clickhouse | 抽取 | SaaS、私有化部署 | |
| HBase Phoenix | 抽取 | SaaS、私有化部署 | |
| Vertica | 抽取 | SaaS、私有化部署 | |
| Amazon Athena | 抽取 | SaaS、私有化部署 | |
| Amazon redshift | 抽取 | SaaS、私有化部署 | |
| ByteHouse CE | 抽取 | SaaS、私有化部署 | |
| ByteHouse CDW | 抽取 | SaaS、私有化部署 | |
| Presto | 抽取 | SaaS、私有化部署 | |
| Databricks | 抽取 | SaaS、私有化部署 | |
| 本地文件 | Excel/CSV文件 | 抽取 | SaaS、私有化部署 |
| Access | 抽取 | 私有化部署 | |
| RestfulAPI | REST API | 抽取 | SaaS、私有化部署 |
| 列式数据库 | HBase | 抽取 | SaaS、私有化部署 |
| 数据仓库 | Hive | 抽取 | SaaS、私有化部署 |
| MaxCompute | 抽取 | SaaS、私有化部署 | |
| LAS(SaaS/私有化部署版) | 抽取 | SaaS、私有化部署 | |
| 星环 inceptor | 抽取 | SaaS、私有化部署 | |
| StarRocks | 抽取 | SaaS、私有化部署 | |
| 文档数据库 | MongoDB | 抽取 | SaaS、私有化部署 |
| 火山引擎矩阵 | 内容平台 | 抽取 | SaaS、私有化部署 |
| DataFinder | 抽取 | SaaS、私有化部署 | |
| 广告 | 巨量引擎/巨量千川 | 抽取 | SaaS、私有化部署 |
| 抖音生态 | 抖音生态数据 | 抽取 | SaaS、私有化部署 |
| 微信生态 | 微信公众号 | 抽取 | SaaS、私有化部署 |
| 企业微信 | 抽取 | SaaS、私有化部署 | |
| 公共数据 | 星座数据 | 抽取 | SaaS、私有化部署 |
| 日历数据 | 抽取 | SaaS、私有化部署 | |
以MySQL数据连接为例,操作步骤如下:
1.点击 数据融合 > 数据连接 。
2.在数据连接目录左上角,点击 新建数据连接 按钮。

3.在添加数据连接的页面中,选择并点击 MySQL 。

4.在添加MySQL数据源页面,配置对应参数。如:
| 名称 | 描述 | 示例值 |
|---|---|---|
| 数据连接名称 | 数据源配置列表的显示名称。 | Demo数据源 |
| 服务器 | 填写IP地址。 | 10.225.34.22 |
| 密码 | 数据库对应密码。 | cdp_password123 |
| 端口 | 填写正确的端口号。 | 3306 |
| 用户名 | 数据库对应的用户名。 | cdp_admin |

5.单击 连接测试 ,进行数据源连通性测试。
6.测试成功后,单击 确定 即可。
7.创建成功的数据连接页面可查看其 基本信息 及 血缘视图

| 概念 | 解释 |
|---|---|
离线抽取 | 将数据离线抽取到VeCDP内置高性能存储计算引擎中。 应用场景包括:覆盖数据源面广:抽取模式支持以上所有数据源类型建模能力强:支持跨数据源多表join、多表合并查询性能快:支持超大数据量多维查询,内置计算引擎性能好,能够支撑满足大数据量的快速分析 |
| 实时抽取 | 将数据实时抽取到引擎中存储,仅支持Kafka数据源 |
直接 | 直接连接数据库,目前仅支持MySQL、ClickHouse、本地文件数据。 |