配置 REST_API（HTTP形式）数据源

REAT_API 数据源，为您提供离线任务读取 REAT_API 通道的功能，实现与其他数据源之间的数据传输能力。
本文为您介绍 DataSail 的 REAT_API 数据同步的能力支持情况。

1 使用限制

1. 目前 REST_API 数据源仅支持配置批式读取任务。
2. 子账号新建数据源时，需要有项目的管理员角色，方可以进行新建数据源操作。各角色对应权限说明，详见：管理成员

2 支持的字段类型

3 数据同步任务开发

3.1 数据源注册

新建数据源操作详见配置数据源，下面为您介绍配置 REST_API 数据源信息说明：
其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数。

3.2 新建离线任务

REST_API 数据源测试连通性成功后，进入到数据开发界面，开始新建 REST_API 相关通道任务。
新建任务方式详见离线数据同步。

3.3 可视化配置说明

任务创建成功后，您可根据实际场景，配置 REST_API 批式读通道任务。

• REST_API 批式读
  
  数据来源选择 REST_API，并完成以下相关参数配置：
  其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数。

  参数项	说明
  *数据源类型	REST_API
  *数据源名称	下拉选择已注册成功的 REST_API 数据源。 若还未建立相应数据源，可单击数据源管理按钮，前往创建 REST_API 数据源。
  *请求 Method	请求方法支持 GET 和 POST，两种方式。
  请求参数	输入传递给 API 的请求参数信息： GET方法：abc=123&def=456 POST方法：{"abc":123,"def":456}
  *返回数据结构	接口返回数据的类型，返回一条数据或者一组数据。
  *数据格式	支持 json 的格式。
  数据存储 json 路径	输入单条或者数组数据存储的 json path 路径，将会读取您输入 path 路径下的 json 内容。 可为$(表示保存在根路径)，或者类似 aa.bb.cc 的格式。
  *预览数据	预览展示 API 中的数据，检查数据格式情况。
  *请求次数	选择 reader 端是单次请求或者多次请求，多次请求需要配置参数，多次请求时，需添加以下对应参数： 多次请求对应参数：例如如 pagenumber，第一次请求对应 pagernumber=0，步长+1，最后一次 pagenumber=100。 StartIndex：多次请求的起点, 大于等于 0 , 区间左包含。 Step：多次请求步长, 大于等于1。 EndIndex：多次请求的终点, 大于等于 startIndex + step , 区间右包含。

• 字段映射
  数据来源和目标端配置完成后，需要指定来源和目标端的字段映射关系，根据字段映射关系，数据集成任务将源端字段中的数据，写入到目标端对应字段中。
  您可通过以下三种方式操作字段映射关系：

  • 自动添加：单击自动添加按钮，根据两端数据表信息，可以自动填充来源和目标的字段信息。
  • 手动添加：单击手动添加按钮，可以手动编辑来源和目标的字段信息，可以逐个添加。
  • 移动\删除字段：您也可以根据需要移动字段映射顺序或删除字段。

3.4 DSL 配置说明

REST_API 数据源同时也支持使用脚本模式（DSL）的方式进行配置。
在某些复杂场景下，您可通过任务脚本的方式，按照统一的 Json 格式，编写 REST_API Reader 参数脚本代码，来运行数据集成任务。

3.4.1 进入 DSL 模式

进入 DSL 模式操作流程，可详见 MySQL 数据源-4.4.1 进入DSL 模式。

3.4.2 配置 REST_API Reader

进入 DSL 模式编辑界面后，您可根据实际情况替换相应参数，REST_API Reader 脚本示例如下：

{
  "job": {
    "version": "0.2",
    "type": "batch",
    "common": {
      ...
    },
    "reader": {
      "type": "restapi",
      "datasource_id": null,
      "content_type": "JSON",
      "class": "com.bytedance.bitsail.batch.restapi.RestApiInputFormat",
      "url": "https://issues.apache.org/jira/rest/api/2/search",
      "params": {
        "jql":"project=FLINK AND updated>-1d"
      },
      "response_structure": "array",
      "request_method": "GET",
      "request_times": "once",
      "json_path": "issues",
      "columns" :[
        {
          "name":"expand",
          "type":"string"
        },
        {
          "name":"id",
          "type":"string"
        },
        {
          "name":"self",
          "type":"string"
        },
        {
          "name":"key",
          "type":"string"
        }
      ]
    },
    "writer": {
      ...
    }
  }
}

其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数。