You need to enable JavaScript to run this app.
导航

外部触发数据同步任务

最近更新时间2024.02.05 14:51:55

首次发布时间2021.03.05 14:06:10

1. 概述

产品提供 OpenAPI 接口供外部用户触发可视化建模或数据集同步任务。

2. 操作步骤

进行下述操作前,需参照文档优先完成 OpenAPI Client 申请 的配置。

2.1 数据集

{ 
  "code": "aeolus/ok", 
  "message": "成功"
}

{ 
  "code": "aeolus/openapiClient/tokenERROR", 
  "message": "token不正确" 
}

{ 
  "code": "prep/openAPI/tokenExpired", 
  "message": "token已过期" 
}


2.2 可视化建模

{ 
  "code": "prep/ok", 
  "message": "成功"
}

{ 
  "code": "prep/openAPI/tokenError", 
  "message": "token不正确" 
}

{ 
  "code": "prep/openAPI/tokenExpired", 
  "message": "token已过期" 
}


2. 数据集 OpenAPI 接口

2.1 查询数据集同步配置接口

2.1.1 URL

/aeolus/api/v3/open/dataFactory/dataSetSyncSettings

2.1.2 HTTP 方法

GET

2.1.3 请求头


参数

类型

是否必填

最大长度

描述

示例

Authorization

String



-

JWT Token

Bearer xxx

2.1.4 请求参数


参数

类型

是否必填

最大长度

描述

示例

appId

Long



-

项目ID

8

dataSetId

Long



-

数据集ID

102

2.1.5 公共响应参数


参数

类型

描述

示例

code

String

返回码

ok

msg

String

返回码描述

成功

data

Object

业务数据

Object Schema见响应参数

2.1.6 响应参数


参数

类型

描述

示例

syncType

Integer

同步类型
0 - 自动同步
1 - 定时同步
2 - 暂停同步

0

frequency

String

同步频率
hourly
daily
weekly
monthly

daily

scheduleDay

String

定时运行日期

0

scheduleTime

String

定时运行时间

00:00

ttl

Integer

数据生命周期

7

scheduleDay/scheduleTime 示例与说明

hourly:

示例:scheduleDay: "10,17", scheduleTime: "9"

说明:每日10点09分和17点09分同步

daily

示例:scheduleTime:"03:03"

说明:每天03:03同步

weekly

示例:scheduleDay:"2,3", scheduleTime:"03:03"

说明:每周二,周三03:03同步

monthly

示例:scheduleDay:"11,17", scheduleTime:"03:03"

说明:每月11号,17号03:03同步

2.2 触发数据同步接口

2.2.1 URL

/aeolus/api/v3/open/dataFactory/createSyncJob

2.2.2 HTTP 方法

POST

Content-Type : application/json

2.2.3 请求头


参数

类型

是否必填

最大长度

描述

示例

Authorization

String



-

JWT Token

Bearer xxx

2.2.4 请求参数


参数

类型

是否必填

最大长度

描述

示例

appId

Long



-

项目ID

8

dataSetId

Long



-

数据集ID

102

startDate

String



-

开始业务日期

2021-02-06 02

endDate

String



-

结束业务日期

2021-02-06 03

示例

{"appId":555327,"dataSetId":164381,"startDate":"2021-01-05 03","endDate":"2021-02-06 02"}

startDate/endDate 格式说明

除调度频率为小时级(hourly)外,格式为yyyy-MM-dd,如2021-02-04

当调度频率为小时级时,格式为yyyy-MM-dd HH,如 2021-02-04 18

注意: 同步时间范围不能超出数据集的生命周期范围(ttl)

数据生命周期(ttl)可以通过接口/aeolus/api/v3/open/dataFactory/dataSetSyncSettings获取

2.2.5 公共响应参数


参数

类型

描述

示例

code

String

返回码

ok

msg

String

返回码描述

成功

data

String

是否成功

ok

2.3 查询数据集实例接口

2.3.1 URL

/aeolus/api/v3/open/dataFactory/dataSetSyncInfoAllPage

2.3.2 HTTP 方法

GET

2.3.3 请求头


参数

类型

是否必填

最大长度

描述

示例

Authorization

String



-

JWT Token

Bearer xxx

2.3.4 请求参数


参数

类型

是否必填

最大长度

描述

示例

appId

Long



-

项目ID

8

dataSetId

Long



-

数据集ID

102

startDate

String



-

开始业务日期

2021-02-06 02

endDate

String



-

结束业务日期

2021-02-06 03

startDate/endDate 格式说明

除调度频率为小时级(hourly)外,格式为yyyy-MM-dd,如2021-02-04

当调度频率为小时级时,格式为yyyy-MM-dd HH,如 2021-02-04 18

2.3.5 公共响应参数


参数

类型

描述

示例

code

String

返回码

ok

msg

String

返回码描述

成功

data

Object

业务数据

Object Schema见响应参数

2.3.6 响应参数


参数

类型

描述

示例

total

Integer

实例数

8

instanceList

List

实例列表

-

Instance


参数

类型

描述

示例

instanceId

Long

实例ID

424769294

bizTime

String

业务日期

2021-02-07 16:00:00

syncStatus

Intger

运行状态

4 - 运行成功

scheduledStartTime

String

定时时间

2021-02-06 00:30:00

syncStartTime

String

同步开始时间

2021-02-06 01:30:09

syncEndTime

String

同步结束时间

2021-02-06 01:33:00

instanceDurationTime

Long

耗时(单位second)

193

syncStatus 说明

1 - 未就绪

2 - 等待执行

3 - 运行中

4 - 运行成功

5 - 运行失败

6 - 已终止

7 - 终止状态(会重试)

2.4 停止实例同步接口

2.4.1 URL

/aeolus/api/v3/open/dataFactory/stopSyncJob

2.4.2 HTTP 方法

POST

Content-Type : application/json

2.4.3 请求头


参数

类型

是否必填

最大长度

描述

示例

Authorization

String



-

JWT Token

Bearer xxx

2.4.4 请求参数


参数

类型

是否必填

最大长度

描述

示例

appId

Long



-

项目ID

8

dataSetId

Long



-

数据集ID

102

startDate

String



-

开始业务日期

2021-02-06 02

endDate

String



-

结束业务日期

2021-02-06 03

示例

{"appId":555327,"dataSetId":164381,"startDate":"2021-02-06 00","endDate":"2021-02-06 01"}

startDate/endDate 格式说明

除调度频率为小时级(hourly)外,格式为yyyy-MM-dd,如2021-02-04

当调度频率为小时级时,格式为yyyy-MM-dd HH,如 2021-02-04 18

2.4.5 公共响应参数


参数

类型

描述

示例

code

String

返回码

ok

msg

String

返回码描述

成功

data

String

是否成功

ok
3. 可视化建模 OpenAPI 接口

3.1 查询可执行子任务接口

3.1.1 URL

/aeolus/prep/userOpenAPI/v1/task/subTasksForExecute

3.1.2 HTTP 方法

GET

3.1.3 请求头


参数

类型

是否必填

最大长度

描述

示例

Authorization

String



-

JWT Token

Bearer xxx

3.1.4 请求参数


参数

类型

是否必填

最大长度

描述

示例

taskId

Long



-

可视化建模任务ID

15

3.1.5 公共响应参数


参数

类型

描述

示例

code

String

返回码

prep/ok

msg

String

返回码描述

成功

data

List

业务数据

Object Schema见响应参数

3.1.6 响应参数


参数

类型

描述

示例

id

String

返回码

prep/ok

outputNodeId

String

输出节点ID

Load_1609849563808

dateType

String

输出节点类型

hive/click_house

clusterName

String

集群名

rangers

dbName

String

库名

demo_db

tableName

String

表名

demo_tbl

scheduleConf

ScheduleConf

调度配置

-

ctime

String

创建时间

2021-01-05 20:26:31

mtime

String

修改时间

2021-02-04 19:12:43

ScheduleConf


参数

类型

描述

示例

scheduleType

Integer

调度类型:
0-手动调度
1-周期运行

0

scheduleFrequency

String

调度频率:
hourly
daily
weekly
monthly

daily

scheduleTimeSettings

Array

调度时间配置

如小时级任务:每日0点5分和5点5分调度为
["0,5", "5"]

scheduleTimeSettings 示例与说明

hourly:

示例:["0,5", "5"]

说明:每日0点5分和5点5分执行

daily

示例:["18:12"]

说明:每天18:12执行

weekly

示例:["1,3", "18:12"]

说明:每周一,周三18:12执行

monthly

示例:["1,3", "18:12"]

说明:每月1号,3号18:12执行

3.2 执行子任务接口

3.2.1 URL

/aeolus/prep/userOpenAPI/v1/task/execute

3.2.2 HTTP 方法

POST

Content-Type : application/json

3.2.3 请求头


参数

类型

是否必填

最大长度

描述

示例

Authorization

String



-

JWT Token

Bearer xxx

3.2.4 请求参数


参数

类型

是否必填

最大长度

描述

示例

taskId

Long



-

可视化建模任务ID

15

nodeKeys

Array[String]



-

输出节点ID-outputNodeId

["Load_1610032647355"]

startTime

String



-

开始业务时间

2021-02-04

endTime

String



-

结束业务时间

2021-02-05

示例

{"taskId":1104,"nodeKeys":["Load_1609849563808"],"startTime":"2021-02-04","endTime":"2021-02-04"}

startTime/endTime 格式说明

除调度频率为小时级(hourly)外,格式为yyyy-MM-dd,如2021-02-04

当调度频率为小时级时,格式为yyyy-MM-dd HH,如 2021-02-04 18

3.2.5 公共响应参数


参数

类型

描述

示例

code

String

返回码

prep/ok

msg

String

返回码描述

成功

data

Boolean

是否成功

true

3.3 查询任务实例接口

3.3.1 URL

/aeolus/prep/userOpenAPI/v1/task/subTaskInfoList

3.3.2 HTTP 方法

GET

3.3.3 请求头


参数

类型

是否必填

最大长度

描述

示例

Authorization

String



-

JWT Token

Bearer xxx

3.3.4 请求参数


参数

类型

是否必填

最大长度

描述

示例

taskId

Long



-

可视化建模任务ID

15

pageNo

Long



-

页码

1

pageSize

Long



-

每页数据量

20

startTaskTime

String



-

开始业务日期

2021-01-31

endTaskTime

String



-

结束业务日期

2021-02-06

insStatus

String



-

运行状态

备注: startTaskTime/endTaskTime未指定时,startTaskTime会取当前时间-7天,endTaskTime会取当前时间

insStatus 说明

default 全部

succeed 运行成功

failed 运行失败

running 正在运行

aborted 已终止

3.3.5 公共响应参数


参数

类型

描述

示例

code

String

返回码

prep/ok

msg

String

返回码描述

成功

data

Object

业务数据

Object Schema见响应参数

3.3.6 响应参数


参数

类型

描述

示例

total

Integer

实例数

8

list

List

实例列表

-

Instance


参数

类型

描述

示例

id

Long

实例ID

424769294

taskTimeFormat

String

业务日期

2021-02-05 00:00

status

Integer

运行状态

4 - 运行成功

scheduleRunTime

String

运行定时时间

2021-02-06 01:30:00

startTime

String

运行开始时间

2021-02-06 01:30:09

endTime

String

运行结束时间

2021-02-06 01:33:00

consumeTime

String

耗时

2m 51s

node

Node

输出节点

Node Schema建下表

Node


参数

类型

描述

示例

nodeKey

String

输出节点ID

Load_1609851218834

nodeName

String

输出节点名

输出_1

status 说明

1 - 未就绪

2 - 等待执行

3 - 运行中

4 - 运行成功

5 - 运行失败

6 - 已终止

7 - 终止状态(会重试)

3.4 终止任务实例接口

3.4.1 URL

/aeolus/prep/userOpenAPI/v1/instance/batch/stop

3.4.2 HTTP 方法

POST

Content-Type : application/json

3.4.3 请求头


参数

类型

是否必填

最大长度

描述

示例

Authorization

String



-

JWT Token

Bearer xxx

3.4.4 请求参数


参数

类型

是否必填

最大长度

描述

示例

appId

Long



-

项目ID

8

taskId

Long



-

可视化建模任务ID

15

instances

List



-

实例列表

[{"id":424769297}]}

Instance


参数

类型

描述

示例

id

Long

实例ID

424769294

示例

{"appId":555327,"taskId":1105,"instances":[{"id":424769297}]}

3.4.5 公共响应参数


参数

类型

描述

示例

code

String

返回码

prep/ok

msg

String

返回码描述

成功

data

Boolean

是否成功

true