You need to enable JavaScript to run this app.
导航
支持的数据源
最近更新时间:2024.06.11 19:38:58首次发布时间:2021.02.23 10:41:54

数据集成支持离线同步、流式同步和全增量数据同步解决方案等多种同步模式,本文将向您介绍各同步模式支持的数据源类型,各同步模式下支持的读写数据源可自由组合通道使用。
数据集成使用的数据源,需要先在项目控制台 > 数据源管理中配置,并测试独享数据集成资源组的网络连通性,注册成功后的数据源便可在数据集成任务中使用。
注册数据源详见 配置数据源

华北2(北京)

离线和实时同步模式支持的数据源能力

✅:支持可视化模式(同时也支持脚本模式)
✔️:仅支持脚本模式

说明

部分数据源支持的表类型、字段类型为非完全模式,请到数据源详细文档进行查阅。详见 配置数据源

数据源类型

数据源

离线同步

实时同步

备注

单表读

增量读(where过滤)

单表写

单表增量读

单表增量写

关系型数据库

MySQL

关系型数据库

Oracle

关系型数据库

SQLServer

关系型数据库

PostgreSQL

关系型数据库

VeDB

关系型数据库

GaussDB

✔️

关系型数据库

GBase8s

关系型数据库

GreenPlum

关系型数据库

OceanBase

大数据存储

LAS

大数据存储

HBase

大数据存储

HDFS

大数据存储

Hive(on HDFS)

大数据存储

Hive(on TOS)

大数据存储

StarRocks

大数据存储

Doris

大数据存储

Hudi

大数据存储

MaxCompute

大数据存储

Kudu

✔️

大数据存储

CloudFS

内存数据库

SAP Hana

MPP数据库

ClickHouse

MPP数据库

ByteHouse CE

MPP数据库

ByteHouve CDW

时序数据库

TDengine

半结构化

RestApi

半结构化

TOS

半结构化

OSS

半结构化

FTP/SFTP

半结构化

S3

✔️

半结构化

LarkSheet

NoSQL

MongoDB

✔️

NoSQL

ElasticSearch

NoSQL

Redis

✔️

消息队列

Kafka

消息队列

BMQ

消息队列

RocketMQ

日志服务

TLS

TLS 数据源读取时:

  • 离线支持到 Hive、ByteHOuse_CDW、LAS、Hudi、MaxCompute 目标端

全域集成

DataSail

CDC 解决方案支持的通道和企业级能力

一键配置解决方案,支持自动建表,先全量同步,后增量同步。

说明

部分数据源支持的表类型、字段类型为非完全模式,请到数据源详细文档进行查阅。详见 配置数据源

目标端

支持的源端

同步过程自动建表

同步过程自动同步DDL

ByteHouse 云数仓版

MySQL

VeDB

Mongo

PostgreSQL

ByteHouse 企业版

MySQL

VeDB

Mongo

StarRocks

MySQL

VeDB

PostgreSQL

SqlServer

Mongo

Oracle(CDC 数据必须先采集到 Kafka)

Elasticsearch

MySQL

VeDB

PostgreSQL

SqlServer

Oracle(CDC 数据必须先采集到 Kafka)

Doris

MySQL

VeDB

PostgreSQL

SqlServer

Oracle(CDC 数据必须先采集到 Kafka)

Hudi

MySQL

华东2(上海)

离线和实时同步模式支持的数据源能力

✅:支持可视化模式(同时也支持脚本模式)
✔️:仅支持脚本模式

说明

部分数据源支持的表类型、字段类型为非完全模式,请到数据源详细文档进行查阅。详见 配置数据源

数据源类型

数据源

离线同步

实时同步

备注

单表读

增量读(where过滤)

单表写

单表增量读

单表增量写

关系型数据库

MySQL

关系型数据库

Oracle

关系型数据库

SQLServer

关系型数据库

PostgreSQL

关系型数据库

VeDB

关系型数据库

GaussDB

✔️

关系型数据库

GBase8s

关系型数据库

GreenPlum

关系型数据库

OceanBase

内存数据库

SAP Hana

大数据存储

LAS

大数据存储

HBase

大数据存储

HDFS

大数据存储

Hive(on HDFS)

大数据存储

Hive(on TOS)

大数据存储

StarRocks

大数据存储

Doris

大数据存储

Hudi

大数据存储

MaxCompute

大数据存储

Kudu

✔️

大数据存储

CloudFS

MPP数据库

ClickHouse

✔️

MPP数据库

ByteHouse CE

MPP数据库

ByteHouve CDW

时序数据库

TDengine

半结构化

RestApi

半结构化

TOS

半结构化

OSS

半结构化

FTP/SFTP

半结构化

S3

✔️

半结构化

LarkSheet

NoSQL

MongoDB

✔️

NoSQL

ElasticSearch

NoSQL

Redis

✔️

消息队列

Kafka

消息队列

BMQ

消息队列

RocketMQ

日志服务

TLS

TLS 数据源读取时:

  • 离线支持到 Hive、LAS、Hudi、MaxCompute 目标端

全域集成

DataSail

CDC解决方案支持的通道和企业级能力

一键配置解决方案,支持自动建表,先全量同步,后增量同步。

说明

部分数据源支持的表类型、字段类型为非完全模式,请到数据源详细文档进行查阅。详见 配置数据源

目标端

支持的源端

同步过程自动建表

同步过程自动同步DDL

ByteHouse 云数仓版

MySQL

VeDB

PostgreSQL

Mongo

ByteHouse 企业版

MySQL

VeDB

Mongo

StarRocks

MySQL

VeDB

PostgreSQL

SqlServer

Mongo

Oracle(CDC 数据必须先采集到 Kafka)

Elasticsearch

MySQL

VeDB

PostgreSQL

SqlServer

Oracle(CDC 数据必须先采集到 Kafka)

Doris

MySQL

VeDB

PostgreSQL

SqlServer

Oracle(CDC 数据必须先采集到 Kafka)

Hudi

MySQL

华南1(广州)

离线和实时同步模式支持的数据源能力

✅:支持可视化模式(同时也支持脚本模式)
✔️:仅支持脚本模式

说明

部分数据源支持的表类型、字段类型为非完全模式,请到数据源详细文档进行查阅。详见 配置数据源

数据源类型

数据源

离线同步

实时同步

备注

单表读

增量读(where过滤)

单表写

单表增量读

单表增量写

关系型数据库

MySQL

关系型数据库

Oracle

关系型数据库

SQLServer

关系型数据库

PostgreSQL

关系型数据库

VeDB

关系型数据库

GaussDB

✔️

关系型数据库

GBase8s

关系型数据库

GreenPlum

关系型数据库

OceanBase

大数据存储

LAS

大数据存储

HBase

大数据存储

HDFS

大数据存储

Hive(on HDFS)

大数据存储

Hive(on TOS)

大数据存储

StarRocks

大数据存储

Doris

大数据存储

Hudi

大数据存储

MaxCompute

大数据存储

Kudu

✔️

大数据存储

CloudFS

内存数据库

SAP Hana

MPP数据库

ClickHouse

MPP数据库

ByteHouse CE

时序数据库

TDengine

半结构化

RestApi

半结构化

TOS

半结构化

OSS

半结构化

FTP/SFTP

半结构化

S3

✔️

半结构化

LarkSheet

NoSQL

MongoDB

NoSQL

ElasticSearch

NoSQL

Redis

消息队列

Kafka

消息队列

BMQ

消息队列

RocketMQ

日志服务

TLS

TLS 数据源读取时:

  • 离线支持到 Hive、Hudi、LAS、MaxCompute 目标端

全域集成

DataSail

CDC 解决方案支持的通道和企业级能力

一键配置解决方案,支持自动建表,先全量同步,后增量同步。

说明

部分数据源支持的表类型、字段类型为非完全模式,请到数据源详细文档进行查阅。详见 配置数据源

目标端

支持的源端

同步过程自动建表

同步过程自动同步DDL

ByteHouse 企业版

MySQL

StarRocks

MySQL

Oracle(CDC 数据必须先采集到Kafka)

Elasticsearch

MySQL

Oracle(CDC 数据必须先采集到Kafka)

Doris

MySQL

Oracle(CDC 数据必须先采集到Kafka)

Hudi

MySQL