You need to enable JavaScript to run this app.
文档中心
大数据研发治理套件(私有化)

大数据研发治理套件(私有化)

复制全文
离线数据集成
Kudu任务配置
复制全文
Kudu任务配置

Kudu数据源为您提供读取Kudu数据的单向通道能力,实现从Kudu读取数据,写入到不同目标数据源中,进行数据传输。
下文为您介绍Kudu数据同步的能力支持情况。

Kudu数据源注册

您可在数据开发 > 数据源管理中进行配置注册,相关操作可参见“注册数据源”。

任务配置

任务新建完成后,进入任务配置页面,您可根据实际场景,配置Kudu离线读通道任务。

  1. 选择数据源

    • Kudu离线读
      数据来源选择Kudu,并完成以下相关参数配置:
      其中参数名称前带 * 的为必填参数,名称前未带 * 的为可选填参数。

      参数

      说明

      *数据源类型

      您可下拉选择或输入关键词进行搜索Kudu数据源类型。

      *数据源名称

      已在数据源管理中注册成功的Kudu数据源,下拉可选。
      若还未建立相应数据源,可单击数据源管理按钮,前往创建Kudu数据源。

      *数据表

      选择需要采集的数据表信息。

      分库分表

      Kudu支持分库分表形式读取,单击添加分库分表按钮,进行分库分表添加,在下拉框中选择分库数据源与具体分表名称信息,支持添加多个分库分表。

      说明

      配置分库分表,需要所有表的Schema信息必须保持一致,否则任务会执行异常。

      数据过滤

      可自定义配置全量或增量读取数据的条件表达式,Kudu数据过滤是一个Json,需与Kudu语法命令保持一致,示例:"["AND", ["{'>'}=", "key", 1000], ["IN", "age", [999, 1001, 1003, 1005, 1007, 1009]], ["NOTNULL","name"]]"
      语句填写完成后,您可单击右侧的校验按钮,进行过滤语句校验。

      切分建

      根据配置的字段进行数据分片,建议使用主键或有索引的列作为切分键:

      • 如果表没有主键或者索引列,可以不配置该字段,同步任务不会进行分片,并以单并发的方式同步所有的数据;
      • 建议使用主键或有索引的列作为切分键,切分键配置没有索引的列同步任务会比较慢;

      说明

      目前仅支持类型为整型或字符串的字段作为切分建。

  2. 设置字段映射信息
    字段为一一映射关系,即将源表字段信息,同步到同一行的目标字段信息中。数据源在选择好来源和目标数据源信息后,您可通过转换模式和基础模式方式来配置字段映射关系。操作详见“字段映射配置”。

  3. 高级参数
    您可选择是否开启高级参数设置,参数说明详见“高级参数设置”。

  4. 调度设置
    单击右侧侧边栏的调度设置,配置相关调度设置参数。调度设置说明详见“调度设置”。

  5. 任务调试
    参数配置完成后,可单击调试按钮 ,在弹出的窗口中,选择业务日期进行调试,调试结果/日志可在页面查看。

  6. 单击保存图标,完成草稿保存。

最近更新时间:2024.12.19 17:02:09
这个页面对您有帮助吗?
有用
有用
无用
无用