You need to enable JavaScript to run this app.
文档中心
大数据研发治理套件(私有化)

大数据研发治理套件(私有化)

复制全文
发布中心
同步管理
复制全文
同步管理

对于发布成功的发布包,代码同步可实现任务代码的批量更新或新建,替代人工复制粘贴的操作,提高开发效率。
只需简单四步操作:导出任务代码 > 上传同步包 > 选择范围 > 预览并确认,即可实现任务代码同步。
本功能支持以下两种同步方式:

  • 直接同步(网络连通)
  • 代码导出/导入(网络隔离)

适用场景

代码同步主要适用于如下场景:

  • 跨项目任务代码复制
    在同一个环境下创建两个项目,一个用作代码开发,一个用作生产部署。将开发项目下的代码,手动一一复制到生产项目下并进行部署发布。
  • 项目初始化时批量新建任务
    新区域部署后,需要将任务代码进行迁移或复制,在新项目下批量创建,完成项目初始化。

使用前提

当前项目需项目管理员,在管理控制台 > 项目管理 > 同步设置界面中,开启同步设置功能后,方能进行发布包同步操作。详见“同步设置”。

使用限制

  • 导出发布包时,仅支持导出已发布成功的任务代码版本。对于未成功发布的任务,不支持导出。
  • 任务类型为工作流类型、新建表/编辑表的代码,暂不支持代码同步。
  • 若多个发布包中包含同一个任务,则仅导出同一任务的最新版本,对于历史版本不支持导出。
  • 新建任务时,不支持离线任务的上游依赖关系设置或来自上游任务的输入参数的同步。
  • 更新或新建任务时,不支持任务依赖资源的配置或其关联文件的同步。

直接同步

在网络连通场景下,任务代码同步采用直接同步方式,操作步骤如下:

  1. 登录DataLeap控制台。
  2. 选择发布包。
    1. 选择数据开发 > 发布中心 > 发布包管理,进入发布包管理页面。
      Image

    2. 单击列表中发布包操作列的同步按钮,或按需批量勾选发布包后,单击同步按钮,进入代码同步配置界面。
      一般在代码更新/新建场景下,默认只需要同步某一任务的最新版本代码。此时,可结合搜索条件(状态、申请人等),以及申请时间(降序),批量选择多个发布包。

    3. 在代码同步界面,完成以下配置步骤:

      参数

      说明

      步骤一

      选择同步内容

      选择同步内容,在发布包任务选择列表中,勾选需要同步的任务,单击右上角下一步按钮,完成当前同步内容的选择。

      步骤二

      设置同步规则

      选择同步的目标区域/项目,并获取在项目控制台 > 同步设置中的默认同步规则配置信息,根据实际情况,您可对默认的同步规则配置进行相应的修改。各同步规则内容参数说明详见“同步设置
      Image

      说明

      单击界面新增项目按钮,目标区域/项目可添加多个。

      对应的同步规则配置完成后,右上角单击下一步按钮,完成当前同步规则设置。

      步骤三

      预览并同步

      在最后预览界面中,确认待同步的新建任务信息,确认无误后单击右上角完成按钮,即可完成代码同步的所有配置。

    4. 代码同步配置完成后,您便可在发布中心 > 同步管理界面,查看最新的同步包名称和状态情况。

    5. 确认代码并提交发布。
      前往代码同步的目标项目空间下,检查、调整并确认任务代码及相关配置。验证无误后,即可单击提交,创建新的发布包并上线。

代码导出/导入

在网络隔离场景下,任务代码同步可采用代码导出/导入方式。

代码导出

可将已成功发布的任务,导出到本地进行使用。

  1. 登录DataLeap控制台。
  2. 选择数据开发 > 发布中心 > 发布包管理,进入发布包管理页面。
  3. 勾选需要导出的发布包,单击操作列中的导出或**导出(包含资源函数)**按钮,便可将发布包以不同形式(导出-JSON、导出(含资源函数)-TAR 包)导出到本地。

说明

  • 导出支持批量导出操作,在发布包列表中勾选多个发布包后,单击下方操作栏中的导出到本地或**导出到本地(包含资源函数)**按钮,便可完成批量导出。
  • 当选择包含资源函数的导出方式时,任务中引用的资源、函数等内容将一并被导出至本地,本地的压缩包中会包含任务所使用的资源和函数文件。
  • 其中若多个发布包中,包含的是同一个任务,则仅导出同一任务的最新版本信息。

代码导入

将本地的发布包,在迁移目标项目中进行上传同步包操作。

  1. 切换项目,选择需要导入任务的目标项目。
  2. 选择发布中心 > 同步管理,进入代码同步管理页面,并单击右上角代码同步按钮,进入代码同步配置页面。
    Image
  3. 代码同步 > 基础设置界面,依次完成以下步骤:
    1. 同步设置

      1. 选择要上传的同步包类型:
        • JSON 类型:上述发布包导出方式选择为导出到本地;
        • Tar 类型:上述发布包导出方式选择为导出到本地(包含资源函数)。
      2. 上传本地已准备好的任务同步包文件。
      3. 并按需选择同步方式和同步后动作,支持更新新建更新和新建三种方式,同步后的内容可按需选择保存草稿、自动提交、自动发布三种方式。
    2. 更新设置
      更新代码时,可通过以下方式确认来源任务与待更新目标任务的映射关系。在代码同步过程中,系统会根据资源映射关系,自动完成配置更新,批量替换为目标环境下相应的资源ID。
      映射关系设置参数说明

      同步方式

      更新设置

      说明

      更新

      待更新任务映射依据

      选择源端与目标端任务的映射依据,支持选择相同任务名、上传任务ID映射、在线编辑任务ID映射:

      • 相同任务名:依据相同任务名称方式进行源端与目标端的映射。
      • 上传任务ID映射:可单击“下载模版”按钮,在本地编辑好sourceID与targetID文件后,通过平台上传到更新设置依据中。
      • 在线编辑任务ID映射:在编辑框中,直接编辑sourceID与targetID信息,依据编辑的信息进行映射。

      资源类映射依据

      若任务中使用到了自定义注册数据源、任务模板、通用程序、项目模板、资源文件,也可通过资源名资源ID 来确认映射关系。选择源端与目标端任务依赖资源的映射依据,支持选择相同资源名、上传资源ID映射、在线编辑资源ID映射。
      配置方式同上方“待更新任务映射依据”一致。其中,“在线编辑资源ID映射”中,各资源参数名称说明如下:

      • resource:资源 ID 信息
        Image
      • common_template:任务模板 ID 信息
        Image
      • project_template:项目参数 ID
        Image
      • data_source:数据源 ID
        Image

      引擎映射依据

      在DataLeap多引擎实例场景下,需要另外配置目标项目中的引擎实例相关信息,作为同步映射依据。
      编辑信息说明如下:

      • 目标项目引擎ID---"targetEngineId":"3000000",
      • 目标项目下的队列名称信息---"targetValue":"",
      • 源项目引擎ID---"sourceEngineId":"1000000",
      • 源项目引擎实例ID,例如 cdh-263xxxxxxxxx3d2i---"sourceExternalEngineId":"cdh-263xxxxxxxxx3d2i",
      • 源项目下队列名称信息---"sourceValue":""

      Image
      以上信息,均可通过浏览器检查控制台中的接口信息进行获取

      说明

      Shell、Python、Perl 等通用任务类型同步时,可跳过引擎映射依据信息的填写。

      更新任务责任人

      当源端与目标端任务责任人不一致时,选择是否需要更新目标端任务责任人。

      更新任务队列设置

      当源端与目标端任务队列设置不一致时,选择是否需要更新目标端任务队列信息。

      更新最早回溯时间

      当源端与目标端任务设置的最早回溯时间不一致时,选择是否需要更新目标端任务的最早回溯时间。

      更新离线任务上游依赖关系设置

      暂不支持更新上游依赖关系。

      任务的更新范围

      按需选择对应任务代码的更新,是否需要包含 SET 语句相关内容更新。

      新建

      资源类映射依据

      选择源端与目标端任务依赖资源的映射依据,与“更新”同步方式一致。

      引擎映射依据

      填写源端与目标端引擎映射的依据,映射信息详见上方“更新”同步方式。

      新建任务存储目录

      指定目标端新建任务的存储路径,支持选择原目录或通过指定目录方式新建。

      说明

      若目标端不存在和源端项目相同的目录,则会在目标端项目中直接新建目录路径。

      更新和新建

      -

      与以上更新、新建同步方式的所有更新设置一致。

      说明

      一般情况下,目标端任务的责任人、队列设置、最早回溯时间已在新建时完成调整,所以默认不更新。

    3. 高级设置
      在高级设置中,可进行任务代码内容的配置替换依据设置:
      同步过程中,若来源和目标端任务代码不一致,如HSQL任务使用到离线UDF,但UDF Jar文件存储地址不同,可以使用代码内容替换的方式,进行批量、快捷的更新;如在新建任务时,若希望同步更新任务的责任人或队列配置,也可以通过代码替换的方式,实现批量更新。
      您可通过“上传配置代码”或“在线编辑配置代码”的方式,进行替换依据设置。

      注意

      使用代码内容替换时,系统直接按字符串进行匹配并替换,需用户自行保证配置的唯一性和正确性,以避免更新错误。

  4. 上方基础设置配置完成后,单击右上角下一步按钮,进行任务选择:
    1. 根据基础设置中的任务、资源映射关系的设置,进行自动分类,判断哪些任务可更新,哪些任务可新建。同时,通过事前检查机制,主动发现映射异常情况,并提供根因参考信息。
    2. 按需选择需要同步的任务范围,单击下一步按钮,进行预览确认。
  5. 预览待更新任务并确认,单击完成按钮,即可实现任务代码的批量更新或新建。
  6. 确认代码并提交发布。
    前往代码同步的目标项目空间下,检查、调整并确认任务代码及相关配置。验证无误后,即可单击提交,创建发布包并上线。详见提交上线
最近更新时间:2025.04.17 15:11:11
这个页面对您有帮助吗?
有用
有用
无用
无用