You need to enable JavaScript to run this app.
文档中心
大数据研发治理套件(私有化)

大数据研发治理套件(私有化)

复制全文
离线数据集成
REST_API任务配置
复制全文
REST_API任务配置

将REST_API中的数据通过数据集成离线任务的方式,读取数据并导入到不同目标数据源,实现与其他数据源之间的数据传输能力。
您可参考示例来完成REST_API2LAS通道任务的新建、参数配置等操作。

REST_API数据源注册

您可在数据开发 > 数据源管理中进行配置注册,相关操作可参见“注册数据源”。

任务配置

任务新建完成后,进入任务配置页面,您可根据实际场景,配置REST_API离线读通道任务。

  1. 选择数据源

    • REST_API离线读
      数据来源选择REST_API,并完成以下相关参数配置:
      其中参数名称前带 * 的为必填参数,名称前未带 * 的为可选填参数。

      参数

      说明

      *数据源类型

      您可下拉选择或输入关键词进行搜索REST_API数据源类型。

      *数据源名称

      已在数据源管理中注册成功的REST_API数据源,下拉可选。 若还未建立相应数据源,可单击数据源管理按钮,前往创建REST_API数据源。

      *请求Method

      请求方法支持GET和POST,两种方式。

      *请求参数

      输入传递给API的请求参数信息:

      • GET方法:abc=123&def=456
      • POST方法:{"abc":123,"def":456}

      *返回数据结构

      接口返回数据的类型,返回一条数据或者一组数据。

      *数据格式

      支持json的格式。

      数据存储json路径

      单条或者数组数据存储的json路径,可为$(表示保存在根路径),或者类似aa.bb.cc的格式。

      *预览数据

      预览展示API中的数据情况。

      *请求次数

      选择reader端是单次请求或者多次请求,多次请求需要额外配置参数,多次请求时,需添加以下对应参数:

      • 多次请求对应参数:例如如pagenumber,第一次请求对应pagernumber=0,步长+1,最后一次pagenumber=100。
      • StartIndex:多次请求的起点, 大于等于 0 , 区间左包含。
      • Step:多次请求步长, 大于等于1。
      • EndIndex:多次请求的终点, 大于等于 startIndex + step , 区间右包含。
  2. 设置字段映射信息
    字段为一一映射关系,即将源表字段信息,同步到同一行的目标字段信息中。数据源在选择好来源和目标数据源信息后,您可通过转换模式和基础模式方式来配置字段映射关系。操作详见操作详见“字段映射配置”。

  3. 高级参数
    您可选择是否开启高级参数设置,参数说明详见“高级参数设置”。

  4. 调度设置
    单击右侧侧边栏的调度设置,配置相关调度设置参数。调度设置说明详见“调度设置”。

  5. 任务调试
    参数配置完成后,可单击调试按钮 ,在弹出的窗口中,选择业务日期进行调试,调试结果/日志可在页面查看。

  6. 单击保存图标,完成草稿保存。

使用示例

下文将通过一个实际使用示例,来为您演示REST_API2LAS的通道任务配置。

  1. 数据准备

    1. REAT_API数据源准备
      Image
    2. 目标端LAS表准备
      CREATE TABLE dataleap_xxxxx_test.api2las_basic_post(
      boolean_info BOOLEAN COMMENT ' ',
      double_info DOUBLE COMMENT ' ',
      map_info STRING COMMENT ' ',
      long_info BIGINT COMMENT ' ',
      float_info DOUBLE COMMENT ' ',
      int_info BIGINT COMMENT ' ',
      date_info DATE COMMENT ' ',
      string_info STRING COMMENT ' '
      ) PARTITIONED BY (
      date STRING COMMENT ' ',
      hour STRING COMMENT ' '
      );
      
  2. 数据源注册
    新增数据源,完成数据源名称、API url、默认请求头、鉴权方式等信息配置,详见“注册数据源”。
    Image

    1. API Url:http://xxx.xxx.x.xxx:5000/basic/post
    2. 默认请求头:格式如{"x-default-header":"this is default header"},非必填。
    3. 验证方式:根据API开通的鉴权方式进行选择,此示例中选择basic auth。
  3. 案例配置
    Image

    1. 请求Method:需和数据源中API Url中访问方式对应,此处选择为:POST。

    2. 请求参数:将请求参数以对应的格式填入,此处请求参数为:

      {
      "index":"1",
      "pageSize":"10",
      "isArray":"True"
      }
      
    3. 返回数据结构:根据请求参数,选择接口返回的数据类型,此处选择返回“数组数据”。

    4. 数据存储json路径:接口返回内容中,字段之间的层次关系,可用aa.bb.cc的形式表示。非必填。

    5. 预览数据:在以上信息配置完成后,您可单击自动获取刷新按钮,即可预览API下的数据。

    6. 请求次数:选择读取数据的请求次数,选择多次请求时,需填写以下参数:

      1. 多次请求的对应参数,例如输入:index;
      2. Start Index:多次请求的起点,这里为0,即从index=0;
      3. Step:每次请求的步长设置,设置大于等于1即可,例如设置为1,下次请求index=1;
      4. Endlndex:多次请求的终点,设置为 10 ,即当index=10,终止读取的请求。
    7. 目标端选择已创建成功的LAS数据表:
      dataleap_xxxxx_test. api2las_basic_post。

    8. 字段映射中,单击自动添加按钮,调整字段映射顺序,配置来源和目标端字段。

  4. 验证数据
    任务案例配置完成并执行成功后:

    1. 单击上方操作栏中调试按钮,进行开发环境任务调试。
    2. 等待任务执行成功后,左上角全部产品中前往数据地图,通过检索LAS表,并对其进行预览探查,查看数据是否和源端数据一致。
      Image
最近更新时间:2024.12.19 17:02:09
这个页面对您有帮助吗?
有用
有用
无用
无用