You need to enable JavaScript to run this app.
导航
大数据研发治理套件
  • 文档首页
    • /
  • 大数据研发治理套件

支持的数据源

最近更新时间：2024.04.26 18:06:03

首次发布时间：2021.02.23 10:41:54

我的收藏

数据集成支持离线同步、流式同步和全增量数据同步解决方案等多种同步模式，本文将向您介绍各同步模式支持的数据源类型，各同步模式下支持的读写数据源可自由组合通道使用。
数据集成使用的数据源，需要先在项目控制台 > 数据源管理中配置，并测试独享数据集成资源组的网络连通性，注册成功后的数据源便可在数据集成任务中使用。
注册数据源详见 配置数据源。

华北2（北京）

离线和实时同步模式支持的数据源能力

✅：支持可视化模式（同时也支持脚本模式）
✔️：仅支持脚本模式

说明

部分数据源支持的表类型、字段类型为非完全模式，请到数据源详细文档进行查阅。详见 配置数据源。

数据源类型

数据源

离线同步

实时同步

备注

单表读

增量读（where过滤）

单表写

单表增量读

单表增量写

关系型数据库

MySQL

✅

✅

✅

✅

关系型数据库

Oracle

✅

✅

✅

✅

关系型数据库

SQLServer

✅

✅

✅

✅

关系型数据库

PostgreSQL

✅

✅

✅

✅

关系型数据库

VeDB

✅

✅

✅

✅

关系型数据库

GaussDB

✅

✅

✔️

关系型数据库

GBase8s

✅

✅

关系型数据库

GreenPlum

✅

关系型数据库

OceanBase

✅

✅

大数据存储

LAS

✅

✅

✅

大数据存储

HBase

✅

✅

✅

大数据存储

HDFS

✅

✅

大数据存储

Hive(on HDFS)

✅

✅

✅

大数据存储

Hive(on TOS)

✅

✅

✅

✅

大数据存储

StarRocks

✅

✅

✅

✅

大数据存储

Doris

✅

✅

✅

大数据存储

MaxCompute

✅

✅

大数据存储

Kudu

✅

✅

✔️

大数据存储

CloudFS

✅

✅

MPP数据库

ClickHouse

✅

✅

✅

MPP数据库

ByteHouse CE

✅

✅

✅

✅

MPP数据库

ByteHouve CDW

✅

✅

✅

时序数据库

TDengine

✅

✅

✅

半结构化

RestApi

✅

半结构化

TOS

✅

✅

✅

半结构化

OSS

✅

半结构化

FTP/SFTP

✅

半结构化

S3

✔️

半结构化

LarkSheet

✅

NoSQL

MongoDB

✅

✅

✅

✔️

NoSQL

ElasticSearch

✅

✅

✅

✅

NoSQL

Redis

✅

✅

✔️

消息队列

Kafka

✅

✅

消息队列

BMQ

✅

✅

消息队列

RocketMQ

✅

日志服务

TLS

✅

TLS 数据源读取时：

  • 离线支持到 Hive、ByteHOuse_CDW、LAS、MaxCompute 目标端

全域集成

DataSail

✅

CDC 解决方案支持的通道和企业级能力

一键配置解决方案，支持自动建表，先全量同步，后增量同步。

说明

部分数据源支持的表类型、字段类型为非完全模式，请到数据源详细文档进行查阅。详见 配置数据源。

目标端

支持的源端

同步过程自动建表

同步过程自动同步DDL

ByteHouse 云数仓版

MySQL

✅

✅

VeDB

✅

❌

Mongo

✅

❌

ByteHouse 企业版

MySQL

❌

❌

VeDB

❌

❌

Mongo

❌

❌

StarRocks

MySQL

✅

✅

VeDB

✅

❌

PostgreSQL

✅

❌

SqlServer

✅

❌

Mongo

✅

❌

Oracle（CDC 数据必须先采集到 Kafka）

✅

❌

Elasticsearch

MySQL

✅

❌

VeDB

✅

❌

PostgreSQL

✅

❌

SqlServer

✅

❌

Oracle（CDC 数据必须先采集到 Kafka）

✅

❌

Doris

MySQL

✅

✅

VeDB

✅

❌

PostgreSQL

✅

❌

SqlServer

✅

❌

Oracle（CDC 数据必须先采集到 Kafka）

✅

❌

华东2（上海）

离线和实时同步模式支持的数据源能力

✅：支持可视化模式（同时也支持脚本模式）
✔️：仅支持脚本模式

说明

部分数据源支持的表类型、字段类型为非完全模式，请到数据源详细文档进行查阅。详见 配置数据源。

数据源类型

数据源

离线同步

实时同步

备注

单表读

增量读（where过滤）

单表写

单表增量读

单表增量写

关系型数据库

MySQL

✅

✅

✅

✅

关系型数据库

Oracle

✅

✅

✅

✅

关系型数据库

SQLServer

✅

✅

✅

✅

关系型数据库

PostgreSQL

✅

✅

✅

✅

关系型数据库

VeDB

✅

✅

✅

✅

关系型数据库

GaussDB

✅

✅

✔️

关系型数据库

GBase8s

✅

✅

关系型数据库

GreenPlum

✅

关系型数据库

OceanBase

✅

✅

大数据存储

LAS

✅

✅

✅

大数据存储

HBase

✅

✅

✅

大数据存储

HDFS

✅

✅

大数据存储

Hive(on HDFS)

✅

✅

✅

大数据存储

Hive(on TOS)

✅

✅

✅

✅

大数据存储

StarRocks

✅

✅

✅

✅

大数据存储

Doris

✅

✅

✅

大数据存储

MaxCompute

✅

✅

大数据存储

Kudu

✅

✅

✔️

大数据存储

CloudFS

✅

✅

MPP数据库

ClickHouse

✅

✅

✅

✔️

MPP数据库

ByteHouse CE

✅

✅

✅

MPP数据库

ByteHouve CDW

✅

时序数据库

TDengine

✅

✅

✅

半结构化

RestApi

✅

半结构化

TOS

✅

✅

✅

半结构化

OSS

✅

半结构化

FTP/SFTP

✅

半结构化

S3

✔️

半结构化

LarkSheet

✅

NoSQL

MongoDB

✅

✅

✅

✔️

NoSQL

ElasticSearch

✅

✅

✅

✅

NoSQL

Redis

✅

✅

✔️

消息队列

Kafka

✅

✅

消息队列

BMQ

✅

✅

消息队列

RocketMQ

✅

日志服务

TLS

✅

TLS 数据源读取时：

  • 离线支持到 Hive、LAS、MaxCompute 目标端

全域集成

DataSail

✅

CDC解决方案支持的通道和企业级能力

一键配置解决方案，支持自动建表，先全量同步，后增量同步。

说明

部分数据源支持的表类型、字段类型为非完全模式，请到数据源详细文档进行查阅。详见 配置数据源。

目标端

支持的源端

同步过程自动建表

同步过程自动同步DDL

ByteHouse 云数仓版

MySQL

✅

✅

VeDB

✅

❌

ByteHouse 企业版

MySQL

❌

❌

VeDB

❌

❌

StarRocks

MySQL

✅

✅

VeDB

✅

❌

PostgreSQL

✅

❌

SqlServer

✅

❌

Mongo

✅

❌

Oracle（CDC 数据必须先采集到 Kafka）

✅

❌

Elasticsearch

MySQL

✅

❌

VeDB

✅

❌

PostgreSQL

✅

❌

SqlServer

✅

❌

Oracle（CDC 数据必须先采集到 Kafka）

✅

❌

Doris

MySQL

✅

✅

VeDB

✅

❌

PostgreSQL

✅

❌

SqlServer

✅

❌

Oracle（CDC 数据必须先采集到 Kafka）

✅

❌

华南1（广州）

离线和实时同步模式支持的数据源能力

✅：支持可视化模式（同时也支持脚本模式）
✔️：仅支持脚本模式

说明

部分数据源支持的表类型、字段类型为非完全模式，请到数据源详细文档进行查阅。详见 配置数据源。

数据源类型

数据源

离线同步

实时同步

备注

单表读

增量读（where过滤）

单表写

单表增量读

单表增量写

关系型数据库

MySQL

✅

✅

✅

✅

关系型数据库

Oracle

✅

✅

✅

✅

关系型数据库

SQLServer

✅

✅

✅

✅

关系型数据库

PostgreSQL

✅

✅

✅

✅

关系型数据库

VeDB

✅

✅

✅

✅

关系型数据库

GaussDB

✅

✅

✔️

关系型数据库

GBase8s

✅

✅

关系型数据库

GreenPlum

✅

关系型数据库

OceanBase

✅

✅

大数据存储

LAS

✅

✅

✅

大数据存储

HBase

✅

✅

✅

大数据存储

HDFS

✅

✅

大数据存储

Hive(on HDFS)

✅

✅

✅

大数据存储

Hive(on TOS)

✅

✅

✅

✅

大数据存储

StarRocks

✅

✅

✅

✅

大数据存储

Doris

✅

✅

✅

✅

大数据存储

MaxCompute

✅

✅

大数据存储

Kudu

✅

✅

✔️

大数据存储

CloudFS

✅

✅

MPP数据库

ClickHouse

✅

✅

✅

✅

MPP数据库

ByteHouse CE

✅

✅

✅

✅

MPP数据库

ByteHouve CDW

✅

✅

✅

✅

时序数据库

TDengine

✅

✅

✅

半结构化

RestApi

✅

半结构化

TOS

✅

✅

✅

半结构化

OSS

✅

半结构化

FTP/SFTP

✅

半结构化

S3

✔️

半结构化

LarkSheet

✅

NoSQL

MongoDB

✅

✅

✅

✅

NoSQL

ElasticSearch

✅

✅

✅

✅

NoSQL

Redis

✅

✅

✅

消息队列

Kafka

✅

✅

✅

消息队列

BMQ

✅

✅

消息队列

RocketMQ

✅

日志服务

TLS

✅

TLS 数据源读取时：

  • 离线支持到 Hive、ByteHOuse_CDW、LAS、MaxCompute 目标端

全域集成

DataSail

✅

CDC 解决方案支持的通道和企业级能力

一键配置解决方案，支持自动建表，先全量同步，后增量同步。

说明

部分数据源支持的表类型、字段类型为非完全模式，请到数据源详细文档进行查阅。详见 配置数据源。

目标端

支持的源端

同步过程自动建表

同步过程自动同步DDL

ByteHouse 企业版

MySQL

❌

❌

StarRocks

MySQL

✅

✅

Oracle（CDC 数据必须先采集到Kafka）

✅

✅

Elasticsearch

MySQL

✅

❌

Oracle（CDC 数据必须先采集到Kafka）

✅

❌

Doris

MySQL

✅

✅

Oracle（CDC 数据必须先采集到Kafka）

✅

✅