数据集成支持 MySQL、HDFS、Hive、LAS、SQLServer、Oracle、TOS 、Doris、Kafka、ByteHouse、BMQ和 CloudFS 等数据源类型,下面将为您介绍支持的数据源及数据源新建管理相关操作。
目前支持的数据源类型如下:
1 使用前提
- 子账号新建数据源时,需要有项目的管理员角色,才有权限新建数据源。
各角色对应权限说明,详见:管理成员。 - 已创建合适资源规格的独享数据集成资源组,并将其绑定至创建成功的 DataLeap 项目下。购买操作详见资源组管理,项目绑定操作详见数据集成资源组。
2 新建数据源
配置数据源的步骤如下:
- 登录 DataLeap租户控制台 。
- 在上方服务地区下拉框中,选择相应的地区,目前已支持华东2(上海)、华北2(北京)、华南1(广州)、亚太东南(柔佛)地区。
- 选择地区后,在概览界面,显示加入的项目中,单击项目配置进入对应项目控制台。

- 在项目控制台进入数据源管理页面,并单击右上角新建数据源按钮,进入新增数据源页面开始新增数据源:

- 填写对应数据源类型的配置参数,参数说明详见各数据源配置详情。
说明
若项目是多环境模式,则必须配置数据源开发和生产环境,您可根据实际情况,选择开发环境和生产环境的数据源参数是否保持一致。
平台默认勾选生产环境进行配置,您需手动勾选开发后,进行配置,环境隔离说明如下:
- 在任务开发界面配置数据集成任务的来源、目标参数信息时,均采用开发环境数据源配置信息,所选表为开发环境库下的表名,任务发布运行时,平台会自动使用生产环境数据源配置,并且能够自动将开发库名替换为生产库名。但您必须确保生产库中的表名及表结构与开发库中的表一致,以免因信息不一致致使任务失败。
- 若开发数据源和生产数据源参数信息保持一致时,可单击一键复制生产环境配置信息按钮后,便可快速将生产环境数据源配置信息,填充到开发环境中。
- 数据集成任务目标端为 MongoDB、MySQL、Hive(数据源必须是 EMR Hive 接入方式)、ByteHouse CDW 时, 平台支持根据任务配置的源端生产表信息来自动创建目标端生产表,并将源端生产表数据同步至目标端生产表。但 Hive 数据源若是通过连接串或 EMR Serverless Hive 方式接入时,暂不支持任务自动创建目标端生产表,您需先手动在目标生产库中创建目标表。
- 多环境数据源目前只适用于离线集成任务,不适应于流式集成和解决方案,流式集成和解决方案中默认仅使用生产环境数据源。
多环境项目开启操作详见创建项目。
- 参数项填写完整后,勾选已绑定的独享集成资源组,并单击上方测试按钮,执行测试连通性。
- 连通性测试成功后,单击确定按钮,完成新增。
- 数据源创建完成后,您可以进行后续的集成任务配置,详见:离线任务配置、流式任务配置。
3 数据源管理
数据源创建完成之后,您可以进行以下操作,来管理创建的数据源:
- 在搜索框中输入搜索信息,可查看符合条件的数据源信息。 支持按照数据源名称、创建人或描述进行搜索。
- 对数据源列表中操作列,您可执行以下操作:
- 单击操作列的编辑按钮,在编辑数据源页面,可以修改该数据源的信息。
- 单击操作列的使用任务按钮,可以查看使用该数据源的线上运行任务详细信息。
- 单击操作列的删除按钮,弹出确认删除对话框,单击确定按钮后,可以删除该数据源.
注意
删除数据源时,需要当前数据源下已不存在运行中的任务,方可删除,反之删除失败。
- 单击数据源名称,可查看该数据源的详情信息。