You need to enable JavaScript to run this app.
导航
配置数据源
最近更新时间:2025.06.04 14:43:00首次发布时间:2021.11.25 15:06:17
我的收藏
有用
有用
无用
无用

数据集成支持 MySQL、HDFS、Hive、LAS、SQLServer、Oracle、TOS 、Doris、Kafka、ByteHouse、BMQ和 CloudFS 等数据源类型,下面将为您介绍支持的数据源及数据源新建管理相关操作。
目前支持的数据源类型如下:

1 使用前提

  1. 子账号新建数据源时,需要有项目的管理员角色,才有权限新建数据源。
    各角色对应权限说明,详见:管理成员
  2. 已创建合适资源规格的独享数据集成资源组,并将其绑定至创建成功的 DataLeap 项目下。购买操作详见资源组管理,项目绑定操作详见数据集成资源组

2 新建数据源

配置数据源的步骤如下:

  1. 登录 DataLeap租户控制台
  2. 在上方服务地区下拉框中,选择相应的地区,目前已支持华东2(上海)、华北2(北京)、华南1(广州)、亚太东南(柔佛)地区。
  3. 选择地区后,在概览界面,显示加入的项目中,单击项目配置进入对应项目控制台。
    Image
  4. 项目控制台进入数据源管理页面,并单击右上角新建数据源按钮,进入新增数据源页面开始新增数据源:
    Image
    1. 填写对应数据源类型的配置参数,参数说明详见各数据源配置详情

      说明

      若项目是多环境模式,则必须配置数据源开发和生产环境,您可根据实际情况,选择开发环境和生产环境的数据源参数是否保持一致。
      平台默认勾选生产环境进行配置,您需手动勾选开发后,进行配置,环境隔离说明如下:

      • 在任务开发界面配置数据集成任务的来源、目标参数信息时,均采用开发环境数据源配置信息,所选表为开发环境库下的表名,任务发布运行时,平台会自动使用生产环境数据源配置,并且能够自动将开发库名替换为生产库名。但您必须确保生产库中的表名及表结构与开发库中的表一致,以免因信息不一致致使任务失败。
      • 若开发数据源和生产数据源参数信息保持一致时,可单击一键复制生产环境配置信息按钮后,便可快速将生产环境数据源配置信息,填充到开发环境中。
      • 数据集成任务目标端为 MongoDB、MySQL、Hive(数据源必须是 EMR Hive 接入方式)、ByteHouse CDW 时, 平台支持根据任务配置的源端生产表信息来自动创建目标端生产表,并将源端生产表数据同步至目标端生产表。但 Hive 数据源若是通过连接串EMR Serverless Hive 方式接入时,暂不支持任务自动创建目标端生产表,您需先手动在目标生产库中创建目标表。
      • 多环境数据源目前只适用于离线集成任务,不适应于流式集成解决方案,流式集成和解决方案中默认仅使用生产环境数据源。

      多环境项目开启操作详见创建项目

    2. 参数项填写完整后,勾选已绑定的独享集成资源组,并单击上方测试按钮,执行测试连通性。

      说明

      数据源与独享集成资源组网络需保证能互通,详见网络连通解决方案

    3. 连通性测试成功后,单击确定按钮,完成新增。
  5. 数据源创建完成后,您可以进行后续的集成任务配置,详见:离线任务配置流式任务配置

3 数据源管理

数据源创建完成之后,您可以进行以下操作,来管理创建的数据源:

  • 在搜索框中输入搜索信息,可查看符合条件的数据源信息。 支持按照数据源名称、创建人或描述进行搜索。
  • 对数据源列表中操作列,您可执行以下操作:
    • 单击操作列的编辑按钮,在编辑数据源页面,可以修改该数据源的信息。
    • 单击操作列的使用任务按钮,可以查看使用该数据源的线上运行任务详细信息。
    • 单击操作列的删除按钮,弹出确认删除对话框,单击确定按钮后,可以删除该数据源.

    注意

    删除数据源时,需要当前数据源下已不存在运行中的任务,方可删除,反之删除失败。

  • 单击数据源名称,可查看该数据源的详情信息。