You need to enable JavaScript to run this app.
导航
环境映射
最近更新时间:2025.05.30 18:02:28首次发布时间:2024.12.24 19:27:12
我的收藏
有用
有用
无用
无用

本功能具备多环境管理能力,实现开发环境、生产环境隔离,预置开发环境及生产环境,支持自定义配置环境之间集群的映射关系。

1 约束限制

  • 开发模式多环境模式的项目才支持环境映射配置。DataLeap 多环境配置目前是白名单开通状态,您可通过提工单的方式联系我们进行白名单开通使用。
  • 仅项目管理员具备操作权限。
  • 目前仅 ByteHouse CDW、EMR Serverless Spark 两种引擎支持多环境。

2 前提条件

  • 已开通 DataOps敏捷研发分布式数据自治服务,相关操作可参见概览
  • 已创建项目并绑定引擎相应的服务实例,相关操作可参见创建项目

3 操作步骤

  1. 登录 DataLeap 控制台。

  2. 单击左侧导航栏的项目管理,进入项目管理页面。

  3. 勾选我管理的选项,显示由您管理的项目列表。

  4. 单击项目列表中要管理项目操作列的任一按钮,进入项目控制台

  5. 单击左侧导航栏的环境映射,进入环境映射页面。
    Image

  6. 配置环境映射信息。

    1. 配置计算资源映射信息后,单击下一步按钮,进入元数据映射页面。
      Image
    2. 配置元数据映射,单击确认保存按钮完成操作。

    参数

    说明

    计算资源映射-资源组映射

    计算资源组

    使用的计算资源组映射情况,自动填充开发环境和生产环境,不可修改。

    • 开发环境:自动勾选与生产环境相同,填充为公共计算
    • 生产环境:默认填充公共计算

    调度资源组

    使用的调度资源组映射情况,自动填充开发环境和生产环境,不可修改。

    • 开发环境:自动勾选与生产环境相同,填充为公共调度资源组
    • 生产环境:默认填充公共调度资源组

    计算资源映射-引擎映射(项目关联引擎后,才会显示相应配置项。)

    ByteHouse 云数仓版

    ByteHouse 云数仓版引擎的映射情况。
    可单击该引擎下的添加映射按钮,添加集群映射项,并通过集群操作列的 图标按钮,为每个集群添加计算组映射项。集群和计算组均支持添加多个。
    每个映射项的配置情况如下:

    • 开发环境
      • 集群:下拉可选项目已绑定的该引擎服务实例。当勾选与生产环境相同时,会自动改为生产环境的服务实例。
      • 计算组:下拉可选所选服务实例下绑定的计算组。

      说明

      当某个服务不需要做环境隔离时,可选择与生产环境相同。勾选后,服务实例下绑定的计算组资源也会全部更改为对应生产环境的计算组。

    • 生产环境:
      • 集群:下拉可选项目已绑定的该引擎服务实例。若需修改绑定,可参见修改项目配置信息
      • 计算组:下拉可选所选服务实例下绑定的计算组。

    注意

    • 需选择库表有实际对应关系的集群进行映射,否则运行任务时会报错。例如,表 Schema 信息需保持一致,防止因 Schema 信息不一致而导致同一套 SQL 在不同环境下执行结果出现差异。
    • 同一个引擎实例/计算组可以多次设置为开发,但仅可设置一次生产,例如 cluster1->cluster2、cluster1->cluster1。
    • 当一个集群设置成生产后,除了与之进行映射的开发环境可选择该集群,其他映射项的开发、生产环境均不支持再选择。例如,支持配置 cluster1->cluster2 后,再配置 cluster1->cluster1,但不支持配置 cluster1->cluster1 后,再配置 cluster1->cluster2。
    • 目前 ByteHouse 云数仓版仅支持集群级别的映射,不支持库级别的映射。

    EMR Serverless Spark

    EMR Serverless Spark 引擎的映射情况。
    可单击该引擎下的添加映射按钮,添加集群映射项,并通过集群操作列的 图标按钮,为每个集群添加计算组映射项。目前该引擎仅支持一个集群,计算队列支持添加多个。
    每个映射项的配置情况如下:

    • 开发环境
      • 集群:下拉可选项目已绑定的该引擎服务实例。当勾选与生产环境相同时,会自动改为生产环境的服务实例。
      • 计算队列:下拉可选所选服务实例下绑定的计算队列。

      说明

      当某个服务不需要做环境隔离时,可选择与生产环境相同。勾选后,服务实例下绑定的计算队列资源也会全部更改为对应生产环境的计算队列。

    • 生产环境:
      • 集群:下拉可选项目已绑定的该引擎服务实例。若需修改绑定,可参见修改项目配置信息
      • 计算队列:下拉可选所选服务实例下绑定的计算队列。

    注意

    • 同一个引擎实例/计算组可以多次设置为开发,但仅可设置一次生产,例如 cluster1->cluster2、cluster1->cluster1。
    • 当一个集群设置成生产后,除了与之进行映射的开发环境可选择该集群,其他映射项的开发、生产环境均不支持再选择。例如,支持配置 cluster1->cluster2 后,再配置 cluster1->cluster1,但不支持配置 cluster1->cluster1 后,再配置 cluster1->cluster2。

    元数据映射

    EMR Serverless Spark

    开发环境和生产环境所选 EMR Serverless Spark 集群下数据库的映射情况。
    可单击相应引擎下的手动添加按钮,添加数据库映射项,支持添加多个。每个映射项的配置情况如下:

    • 开发数据库:下拉可选所选开发环境集群下的数据库。当勾选与生产环境相同时,会自动改为生产环境的数据库。
    • 生产数据库:下拉可选所选生产环境集群下的数据库。

    注意

    • 配置集群映射后,才可进行元数据配置。
    • 目前 EMR Serverless Spark 仅支持一个服务实例选项,因此该引擎在集群内做元数据映射。
    • 需选择有实际对应关系的开发库和生产库进行映射,以防运行任务时报错。例如,表 Schema 信息需保持一致,防止因 Schema 信息不一致而导致同一套 SQL 在不同环境下执行结果出现差异。
    • 如果用户没有完成元数据映射配置,则调试阶段可能遇到报错,提示找不到表。

4 后续操作

对于已经开启环境隔离的 ByteHouse CDW 引擎类型,可按需进行以下操作:

  • 数据开发页面创建任务时,可以从生产环境实例中选择一个进行绑定,并在调试时,切换到该任务的生产实例对应的开发实例进行调试。
  • 数据地图页面创建采集器时,支持选择所有集群实例。
  • 数据质量页面创建监控规则时,可以选择一个生产环境实例,相关操作可参见配置其他数据源规则
  • 数据安全页面,可以对所有实例进行数据权限管理。