You need to enable JavaScript to run this app.
导航

概述

最近更新时间2023.11.03 19:45:12

首次发布时间2022.02.17 11:48:15

1. 产品概述

系统提供30+种数据连接方式,方便企业将一方数据接入CDP系统中使用,包括但不限于关系型数据库(如:MySql、Oracle、SQL Server、DB2等),大数据平台(如:Hive,Impala、Clickhouse等),MPP数据库(Postgre等),流式数据库(Kafka等)、文本数据(Excel、CSV)、API接口等。不仅能够对接客户内部各业务公司客户数据和业务数据接入(如:会员系统、会员中台系统等),还可以对接官方网站、APP、公众号、小程序、服务号等数据源。

为了尽可能多的接入用户相关数据,建设更准确完善的数据画像,CDP系统支持企业接入三方数据。三方数据可能来源于不同的平台和渠道,此时可以发挥系统文本数据接入和API数据接入的能力,通过文本数据导入功能,能够通过界面直接导入Excel和Csv数据,并将这部分数据在平台中存储下来。用户可以自定义导入数据的生命周期和更新周期。同时,系统还提供巨量引擎、巨量千川、抖店、内容平台等数据的接入能力,进一步丰富企业数据。

2. 使用限制
  1. 需项目管理员在 项目中心-权限 中,给对应用户开启 元数据管理 模块的权限,及 项目编辑或管理 权限。

  2. 集团管理员 可以构建及编辑ID图谱

  3. 使用该功能时请确保您的网络环境处于外网环境

3. 支持的数据源清单
数据源名称支持连接方式支持环境
关系型数据库MySQL抽取SaaS、私有化部署
IBM DB2抽取SaaS、私有化部署
Oracle抽取SaaS、私有化部署
PostgreSQL抽取SaaS、私有化部署
SQL Server抽取SaaS、私有化部署
Teradata抽取SaaS、私有化部署
Doris抽取SaaS、私有化部署
达梦抽取SaaS、私有化部署
OceanBase MySQL抽取SaaS、私有化部署
OceanBase Oracle抽取SaaS、私有化部署
OpenGauss抽取SaaS、私有化部署
流式数据Kafka抽取私有化部署
Pulsar抽取私有化部署
OLAPAnalyticDB for MySQL 2.0抽取SaaS、私有化部署
AnalyticDB for MySQL 3.0抽取SaaS、私有化部署
Greenplum抽取SaaS、私有化部署
SAP HANA抽取SaaS、私有化部署
Impala抽取SaaS、私有化部署
Clickhouse抽取SaaS、私有化部署
HBase Phoenix抽取SaaS、私有化部署
Vertica抽取SaaS、私有化部署
Amazon Athena抽取SaaS、私有化部署
Amazon redshift抽取SaaS、私有化部署
ByteHouse CE抽取SaaS、私有化部署
ByteHouse CDW抽取SaaS、私有化部署
Presto抽取SaaS、私有化部署
Databricks抽取SaaS、私有化部署
本地文件Excel/CSV文件抽取SaaS、私有化部署
Access抽取私有化部署
RestfulAPIREST API抽取SaaS、私有化部署
列式数据库HBase抽取SaaS、私有化部署
数据仓库Hive抽取SaaS、私有化部署
MaxCompute抽取SaaS、私有化部署
LAS(SaaS/私有化部署版)抽取SaaS、私有化部署
星环 inceptor抽取SaaS、私有化部署
StarRocks抽取SaaS、私有化部署
文档数据库MongoDB抽取SaaS、私有化部署
火山引擎矩阵内容平台抽取SaaS、私有化部署
DataFinder抽取SaaS、私有化部署
广告巨量引擎/巨量千川抽取SaaS、私有化部署
抖音生态抖音生态数据抽取SaaS、私有化部署
微信生态微信公众号抽取SaaS、私有化部署
企业微信抽取SaaS、私有化部署
公共数据星座数据抽取SaaS、私有化部署
日历数据抽取SaaS、私有化部署
4. 操作步骤

以MySQL数据连接为例,操作步骤如下:

1.点击 数据融合 > 数据连接
2.在数据连接目录左上角,点击 新建数据连接 按钮。

3.在添加数据连接的页面中,选择并点击 MySQL

4.在添加MySQL数据源页面,配置对应参数。如:

名称描述示例值
数据连接名称数据源配置列表的显示名称。Demo数据源
服务器填写IP地址。10.225.34.22
密码数据库对应密码。cdp_password123
端口填写正确的端口号。3306
用户名数据库对应的用户名。cdp_admin

5.单击 连接测试 ,进行数据源连通性测试。
6.测试成功后,单击 确定 即可。
7.创建成功的数据连接页面可查看其 基本信息血缘视图

5. 常见问题

Q:数据源支持连接方式中的离线抽取、实时抽取、直连是什么意思?使用上有什么需要注意的?

概念解释

离线抽取

将数据离线抽取到VeCDP内置高性能存储计算引擎中。 应用场景包括:覆盖数据源面广:抽取模式支持以上所有数据源类型建模能力强:支持跨数据源多表join、多表合并查询性能快:支持超大数据量多维查询,内置计算引擎性能好,能够支撑满足大数据量的快速分析
*使用限制:数据缺乏实时性,需要设置同步周期,数据会在用户选定的同步节点内进行同步

实时抽取将数据实时抽取到引擎中存储,仅支持Kafka数据源

直接

直接连接数据库,目前仅支持MySQL、ClickHouse、本地文件数据。
*使用限制:查询性能一般:由于直接连接用户数据库,受数据连接和数据库引擎性能限制,查询性能可能受到影响。仅支持单表直连查询