You need to enable JavaScript to run this app.
文档中心
大数据研发治理套件(私有化)

大数据研发治理套件(私有化)

复制全文
离线数据集成
Oracle任务配置
复制全文
Oracle任务配置

Oracle数据源为您提供读取和写入Oracle的双向通道数据集成能力,实现不同数据源与Oracle之间进行数据传输。
下文为您介绍Oracle数据同步的能力支持情况。

使用限制

数据源所配置的用户名信息,需具备Oracle数据库中 DBA_TABLES 和 DBA_VIEWS 的权限,这样在可视化配置数据集成任务时,才能加载出需要采集的表信息。
数据库管理员可通过以下授权语句,给配置的用户授予权限,若用户名信息为 USER1,则授权命令如下:

GRANT SELECT ANY DATABASE OBJECT TO USER1;

Oracle数据源注册

您可在数据开发 > 数据源管理中进行配置注册,相关操作可参见“注册数据源”。

任务配置

任务新建完成后,进入任务配置页面,您可根据实际场景,配置Oracle离线读Oracle离线写等通道任务。

  1. 选择数据源

    • Oracle离线读
      数据来源选择Oracle,并完成以下相关参数配置:
      其中参数名称前带 * 的为必填参数,名称前未带 * 的为可选填参数。

      参数

      说明

      *数据源类型

      数据来源类型选择为Oracle,您可下拉选择或输入关键词Oracle进行搜索。

      *数据源名称

      已在数据源管理中注册成功的Oracle数据源,下拉可选。
      若还未建立相应数据源,可单击数据源管理按钮,前往创建Oracle数据源。

      *同步方式

      包括数据表同步和代码同步两个选项。

      • 代码同步: 通过写 SQL 代码实现,无需再通过可视化方式选择Oracle数据库、数据表、切分键等选项,您可直接在下方 HSQL 语句编辑区域输入 Oracle SQL 查询数据的逻辑语句,示例如下:

        SELECT
            col1,
            col2,
            col3
        FROM
            databases.table_name
        WHERE date = “${date}”;
        
      • 数据表同步:通过可视化方式选择数据库表,直接进行同步。

      *Schema目录

      数据库下已有的Schema目录信息,下拉可选。

      *数据表

      选择需要采集的数据表或视图信息,您可同时选择多个Schema相同的表或视图进行数据同步,支持区间表达式“table_[0-99]”和时间表达式“table_${date}”方式,来快速配置选择多个表或视图。

      数据过滤

      支持您将需要同步的数据进行筛选条件设置,只同步符合过滤条件的数据,可直接填写关键词 where 后的过滤 SQL 语句,例如:create_time > '${date}',不需要填写 where 关键字。
      语句填写完成后,您可单击右侧的校验按钮,进行过滤语句校验。

      说明

      • 该过滤语句通常用作增量同步,暂时不支持 limit 关键字过滤,其 SQL 语法需要和选择的数据源类型对应。
      • 过滤语句中支持时间参数 ${data}、项目变量参数 {{var}} 等参数配置。更多时间参数说明详见调度参数说明、项目变量参数配置详见参数管理

      切分建

      根据源端数据中某一列作为切分键,进行数据分片,建议使用主键或有索引的列作为切分键:

      • 如果表没有主键或者索引列,可以不配置该字段,同步任务不会进行分片,并以单并发的方式同步所有的数据;
      • 建议使用主键或有索引的列作为切分键,切分键配置没有索引的列同步任务会比较慢。

      说明

      • 目前仅支持类型为整型或字符串的字段作为切分建。
      • 若选择String类型作为split_key,并且设置了特殊的字符集,则您需在下方“高级参数设置”中,设置自定义参数:“job.reader.split_string_key_with_collate=true”,来保障数据准确性。

      同步方式

      仅支持数据库直连方式:

      • 适用于小表模式(表数据量在百万行以下)。
      • 适用于对在线业务访问latency不敏感(每次导入直接从Oracle拉取数据)。
      • 任务频率为小时级时,如有批量重跑或实例耗时超过1小时的情况,对Oracle从库可能有较大压力,请谨慎评估相关操作对DB的负载影响。
    • Oracle离线写
      数据目标端选择Oracle,并完成以下相关参数配置:
      其中参数名称前带 * 的为必填参数,名称前未带 * 的为可选填参数。

      参数

      说明

      *数据源类型

      数据去向目标类型,您可下拉选择或输入关键词Oracle进行搜索。

      *数据源名称

      已在数据源管理界面注册的Oracle数据源,下拉可选。
      若还未建立相应数据源,可单击数据源管理按钮,前往创建Oracle数据源。

      *Schema目录

      数据库下已有的Schema目录信息,下拉可选。

      *数据表

      数据源下所属需数据写入的表或视图名,下拉可选。

      写入前准备语句

      在执行该数据集成任务前,需要率先执行的SQL语句,通常是为了使任务重跑时支持幂等。
      例如您可以通过填写语句,清空表中的某些旧数据,清空完成后,再执行集成任务写入新的数据。如删除 date='${date}' 的数据:delete from table_name where date='${date}'

      说明

      只允许执行一条写入前准备语句。

      写入后准备语句

      执行数据同步任务之后执行的 SQL 语句。例如写入完成后插入某条特殊的数据,标志导入任务执行结束。

      说明

      只允许执行一条写入后准备语句。

      *数据写入方式

      下拉选择数据写入 Oracle 的方式,目前支持 insert into、on duplicate key update 写入方式:

      • insert into:即当主键/唯一性索引冲突时会无法写入冲突的行,任务会运行失败。
      • on duplicate key update:
        • 当主键/唯一键索引没有冲突时,与insert into行为一致。
        • 在发生冲突时,将使用新行数据 update 表中原有的数据。
  2. 设置字段映射信息
    字段为一一映射关系,即将源表字段信息,同步到同一行的目标字段信息中。数据源在选择好来源和目标数据源信息后,您可通过转换模式和基础模式方式来配置字段映射关系。
    基础模式操作如下:

    • 单击自动添加,可以根据数据源 Schema 自动添加字段。
    • 单击手动添加按钮,可以手动编辑源和目标的字段信息,可以逐个添加。

      说明

      来源端字段信息支持输入数据库函数配置,单击手动添加按钮,在源表字段中输入需添加的值,并选择函数或常量类型,例如:
      函数:支持您输入 now()、current_timestamp()、unix_timestamp() 等 Oracle 数据库支持的函数。

    • 可以根据需要移动字段顺序或删除字段。
      转换模式操作详见”转换模式“。
  3. 高级参数
    您可选择是否开启高级参数设置,参数说明详见“高级参数设置”。

  4. 调度设置
    单击右侧侧边栏的调度设置,配置相关调度设置参数。调度设置说明详见“调度设置”。

  5. 任务调试
    参数配置完成后,可单击调试按钮 ,在弹出的窗口中,选择业务日期进行调试,调试结果/日志可在页面查看。

  6. 单击保存图标,完成草稿保存。

最近更新时间:2026.02.04 10:41:48
这个页面对您有帮助吗?
有用
有用
无用
无用