外部触发数据同步任务

最近更新时间：2023.05.26 20:15:53

首次发布时间：2021.03.05 14:06:10

1. 概述

产品提供 OpenAPI 接口供外部用户触发可视化建模或数据集同步任务。

2. 操作步骤

进行下述操作前，需参照文档优先完成 OpenAPI Client申请的配置。

2.1 数据集

{ 
  "code": "aeolus/ok", 
  "message": "成功"
}

{ 
  "code": "aeolus/openapiClient/tokenERROR", 
  "message": "token不正确" 
}

{ 
  "code": "prep/openAPI/tokenExpired", 
  "message": "token已过期" 
}

2.2 可视化建模

{ 
  "code": "prep/ok", 
  "message": "成功"
}

{ 
  "code": "prep/openAPI/tokenError", 
  "message": "token不正确" 
}

{ 
  "code": "prep/openAPI/tokenExpired", 
  "message": "token已过期" 
}

2. 数据集 OpenAPI 接口

2.1 查询数据集同步配置接口

2.1.1 URL

/aeolus/api/v3/open/dataFactory/dataSetSyncSettings

2.1.2 HTTP 方法

GET

2.1.3 请求头


参数	类型	是否必填	最大长度	描述	示例
Authorization	String	是	-	JWT Token	Bearer xxx

2.1.4 请求参数


参数	类型	是否必填	最大长度	描述	示例
appId	Long	是	-	项目ID	8
dataSetId	Long	是	-	数据集ID	102

2.1.5 公共响应参数


参数	类型	描述	示例
code	String	返回码	aeolus/ok
msg	String	返回码描述	成功
data	Object	业务数据	Object Schema见响应参数

2.1.6 响应参数


参数	类型	描述	示例
syncType	Integer	同步类型 0 - 自动同步 1 - 定时同步 2 - 暂停同步	0
frequency	String	同步频率 hourly daily weekly monthly	daily
scheduleDay	String	定时运行日期	0
scheduleTime	String	定时运行时间	00:00
ttl	Integer	数据生命周期	7

scheduleDay/scheduleTime 示例与说明

hourly:

示例：scheduleDay: "10,17", scheduleTime: "9"

说明：每日10点09分和17点09分同步

daily

示例：scheduleTime:"03:03"

说明：每天03:03同步

weekly

示例：scheduleDay:"2,3", scheduleTime:"03:03"

说明：每周二，周三03:03同步

monthly

示例：scheduleDay:"11,17", scheduleTime:"03:03"

说明：每月11号，17号03:03同步

2.2 触发数据同步接口

2.2.1 URL

/aeolus/api/v3/open/dataFactory/createSyncJob

2.2.2 HTTP 方法

POST

Content-Type : application/json

2.2.3 请求头


参数	类型	是否必填	最大长度	描述	示例
Authorization	String	是	-	JWT Token	Bearer xxx

2.2.4 请求参数


参数	类型	是否必填	最大长度	描述	示例
appId	Long	是	-	项目ID	8
dataSetId	Long	是	-	数据集ID	102
startDate	String	是	-	开始业务日期	2021-02-06 02
endDate	String	是	-	结束业务日期	2021-02-06 03

示例

{"appId":555327,"dataSetId":164381,"startDate":"2021-01-05 03","endDate":"2021-02-06 02"}

startDate/endDate 格式说明

除调度频率为小时级(hourly)外，格式为yyyy-MM-dd，如2021-02-04

当调度频率为小时级时，格式为yyyy-MM-dd HH，如 2021-02-04 18

注意： 同步时间范围不能超出数据集的生命周期范围(ttl)

数据生命周期(ttl)可以通过接口/aeolus/api/v3/open/dataFactory/dataSetSyncSettings获取

2.2.5 公共响应参数


参数	类型	描述	示例
code	String	返回码	aeolus/ok
msg	String	返回码描述	成功
data	String	是否成功	ok

2.3 查询数据集实例接口

2.3.1 URL

/aeolus/api/v3/open/dataFactory/dataSetSyncInfoAllPage

2.3.2 HTTP 方法

GET

2.3.3 请求头


参数	类型	是否必填	最大长度	描述	示例
Authorization	String	是	-	JWT Token	Bearer xxx

2.3.4 请求参数


参数	类型	是否必填	最大长度	描述	示例
appId	Long	是	-	项目ID	8
dataSetId	Long	是	-	数据集ID	102
startDate	String	是	-	开始业务日期	2021-02-06 02
endDate	String	是	-	结束业务日期	2021-02-06 03

startDate/endDate 格式说明

除调度频率为小时级(hourly)外，格式为yyyy-MM-dd，如2021-02-04

当调度频率为小时级时，格式为yyyy-MM-dd HH，如 2021-02-04 18

2.3.5 公共响应参数


参数	类型	描述	示例
code	String	返回码	aeolus/ok
msg	String	返回码描述	成功
data	Object	业务数据	Object Schema见响应参数

2.3.6 响应参数


参数	类型	描述	示例
total	Integer	实例数	8
instanceList	List	实例列表	-

Instance


参数	类型	描述	示例
instanceId	Long	实例ID	424769294
bizTime	String	业务日期	2021-02-07 16:00:00
syncStatus	Intger	运行状态	4 - 运行成功
scheduledStartTime	String	定时时间	2021-02-06 00:30:00
syncStartTime	String	同步开始时间	2021-02-06 01:30:09
syncEndTime	String	同步结束时间	2021-02-06 01:33:00
instanceDurationTime	Long	耗时(单位second)	193

syncStatus 说明

1 - 未就绪

2 - 等待执行

3 - 运行中

4 - 运行成功

5 - 运行失败

6 - 已终止

7 - 终止状态（会重试）

2.4 停止实例同步接口

2.4.1 URL

/aeolus/api/v3/open/dataFactory/stopSyncJob

2.4.2 HTTP 方法

POST

Content-Type : application/json

2.4.3 请求头


参数	类型	是否必填	最大长度	描述	示例
Authorization	String	是	-	JWT Token	Bearer xxx

2.4.4 请求参数


参数	类型	是否必填	最大长度	描述	示例
appId	Long	是	-	项目ID	8
dataSetId	Long	是	-	数据集ID	102
startDate	String	是	-	开始业务日期	2021-02-06 02
endDate	String	是	-	结束业务日期	2021-02-06 03

示例

{"appId":555327,"dataSetId":164381,"startDate":"2021-02-06 00","endDate":"2021-02-06 01"}

startDate/endDate 格式说明

除调度频率为小时级(hourly)外，格式为yyyy-MM-dd，如2021-02-04

当调度频率为小时级时，格式为yyyy-MM-dd HH，如 2021-02-04 18

2.4.5 公共响应参数


参数	类型	描述	示例
code	String	返回码	aeolus/ok
msg	String	返回码描述	成功
data	String	是否成功	ok

3. 可视化建模 OpenAPI 接口

3.1 查询可执行子任务接口

3.1.1 URL

/aeolus/prep/userOpenAPI/v1/task/subTasksForExecute

3.1.2 HTTP 方法

GET

3.1.3 请求头


参数	类型	是否必填	最大长度	描述	示例
Authorization	String	是	-	JWT Token	Bearer xxx

3.1.4 请求参数


参数	类型	是否必填	最大长度	描述	示例
taskId	Long	是	-	可视化建模任务ID	15

3.1.5 公共响应参数


参数	类型	描述	示例
code	String	返回码	prep/ok
msg	String	返回码描述	成功
data	List	业务数据	Object Schema见响应参数

3.1.6 响应参数


参数	类型	描述	示例
id	String	返回码	prep/ok
outputNodeId	String	输出节点ID	Load_1609849563808
dateType	String	输出节点类型	hive/click_house
clusterName	String	集群名	rangers
dbName	String	库名	demo_db
tableName	String	表名	demo_tbl
scheduleConf	ScheduleConf	调度配置	-
ctime	String	创建时间	2021-01-05 20:26:31
mtime	String	修改时间	2021-02-04 19:12:43

ScheduleConf


参数	类型	描述	示例
scheduleType	Integer	调度类型： 0-手动调度 1-周期运行	0
scheduleFrequency	String	调度频率： hourly daily weekly monthly	daily
scheduleTimeSettings	Array	调度时间配置	如小时级任务:每日0点5分和5点5分调度为 ["0,5", "5"]

scheduleTimeSettings 示例与说明

hourly:

示例：["0,5", "5"]

说明：每日0点5分和5点5分执行

daily

示例：["18:12"]

说明：每天18:12执行

weekly

示例：["1,3", "18:12"]

说明：每周一，周三18:12执行

monthly

示例：["1,3", "18:12"]

说明：每月1号，3号18:12执行

3.2 执行子任务接口

3.2.1 URL

/aeolus/prep/userOpenAPI/v1/task/execute

3.2.2 HTTP 方法

POST

Content-Type : application/json

3.2.3 请求头


参数	类型	是否必填	最大长度	描述	示例
Authorization	String	是	-	JWT Token	Bearer xxx

3.2.4 请求参数


参数	类型	是否必填	最大长度	描述	示例
taskId	Long	是	-	可视化建模任务ID	15
nodeKeys	Array[String]	是	-	输出节点ID-outputNodeId	["Load_1610032647355"]
startTime	String	是	-	开始业务时间	2021-02-04
endTime	String	是	-	结束业务时间	2021-02-05

示例

{"taskId":1104,"nodeKeys":["Load_1609849563808"],"startTime":"2021-02-04","endTime":"2021-02-04"}

startTime/endTime 格式说明

除调度频率为小时级(hourly)外，格式为yyyy-MM-dd，如2021-02-04

当调度频率为小时级时，格式为yyyy-MM-dd HH，如 2021-02-04 18

3.2.5 公共响应参数


参数	类型	描述	示例
code	String	返回码	prep/ok
msg	String	返回码描述	成功
data	Boolean	是否成功	true

3.3 查询任务实例接口

3.3.1 URL

/aeolus/prep/userOpenAPI/v1/task/subTaskInfoList

3.3.2 HTTP 方法

GET

3.3.3 请求头


参数	类型	是否必填	最大长度	描述	示例
Authorization	String	是	-	JWT Token	Bearer xxx

3.3.4 请求参数


参数	类型	是否必填	最大长度	描述	示例
taskId	Long	是	-	可视化建模任务ID	15
pageNo	Long	否	-	页码	1
pageSize	Long	否	-	每页数据量	20
startTaskTime	String	否	-	开始业务日期	2021-01-31
endTaskTime	String	否	-	结束业务日期	2021-02-06
insStatus	String	否	-	运行状态

备注： startTaskTime/endTaskTime未指定时，startTaskTime会取当前时间-7天，endTaskTime会取当前时间

insStatus 说明

default 全部

succeed 运行成功

failed 运行失败

running 正在运行

aborted 已终止

3.3.5 公共响应参数


参数	类型	描述	示例
code	String	返回码	prep/ok
msg	String	返回码描述	成功
data	Object	业务数据	Object Schema见响应参数

3.3.6 响应参数


参数	类型	描述	示例
total	Integer	实例数	8
list	List	实例列表	-

Instance


参数	类型	描述	示例
id	Long	实例ID	424769294
taskTimeFormat	String	业务日期	2021-02-05 00:00
status	Integer	运行状态	4 - 运行成功
scheduleRunTime	String	运行定时时间	2021-02-06 01:30:00
startTime	String	运行开始时间	2021-02-06 01:30:09
endTime	String	运行结束时间	2021-02-06 01:33:00
consumeTime	String	耗时	2m 51s
node	Node	输出节点	Node Schema建下表

Node


参数	类型	描述	示例
nodeKey	String	输出节点ID	Load_1609851218834
nodeName	String	输出节点名	输出_1

status 说明

1 - 未就绪

2 - 等待执行

3 - 运行中

4 - 运行成功

5 - 运行失败

6 - 已终止

7 - 终止状态（会重试）

3.4 终止任务实例接口

3.4.1 URL

/aeolus/prep/userOpenAPI/v1/instance/batch/stop

3.4.2 HTTP 方法

POST

Content-Type : application/json

3.4.3 请求头


参数	类型	是否必填	最大长度	描述	示例
Authorization	String	是	-	JWT Token	Bearer xxx

3.4.4 请求参数


参数	类型	是否必填	最大长度	描述	示例
appId	Long	是	-	项目ID	8
taskId	Long	是	-	可视化建模任务ID	15
instances	List	是	-	实例列表	[{"id":424769297}]}

Instance


参数	类型	描述	示例
id	Long	实例ID	424769294

示例

{"appId":555327,"taskId":1105,"instances":[{"id":424769297}]}

3.4.5 公共响应参数


参数	类型	描述	示例
code	String	返回码	prep/ok
msg	String	返回码描述	成功
data	Boolean	是否成功	true

1. 概述

2. 操作步骤

2.1 数据集

2.2 可视化建模

2. 数据集 OpenAPI 接口

2.1 查询数据集同步配置接口

2.1.1 URL

2.1.2 HTTP 方法

2.1.3 请求头

2.1.4 请求参数

2.1.5 公共响应参数

2.1.6 响应参数

2.2 触发数据同步接口

2.2.1 URL

2.2.2 HTTP 方法

2.2.3 请求头

2.2.4 请求参数

2.2.5 公共响应参数

2.3 查询数据集实例接口

2.3.1 URL

2.3.2 HTTP 方法

2.3.3 请求头

2.3.4 请求参数

2.3.5 公共响应参数

2.3.6 响应参数

2.4 停止实例同步接口

2.4.1 URL

2.4.2 HTTP 方法

2.4.3 请求头

2.4.4 请求参数

2.4.5 公共响应参数

3. 可视化建模 OpenAPI 接口

3.1 查询可执行子任务接口

3.1.1 URL

3.1.2 HTTP 方法

3.1.3 请求头

3.1.4 请求参数

3.1.5 公共响应参数

3.1.6 响应参数

3.2 执行子任务接口

3.2.1 URL

3.2.2 HTTP 方法

3.2.3 请求头

3.2.4 请求参数

3.2.5 公共响应参数

3.3 查询任务实例接口

3.3.1 URL

3.3.2 HTTP 方法

3.3.3 请求头

3.3.4 请求参数

3.3.5 公共响应参数

3.3.6 响应参数

3.4 终止任务实例接口

3.4.1 URL

3.4.2 HTTP 方法

3.4.3 请求头

3.4.4 请求参数

3.4.5 公共响应参数

智能数据洞察

外部触发数据同步任务

2.1 数据集

2.2 可视化建模

2.1 查询数据集同步配置接口

2.1.1 URL

2.1.2 HTTP 方法

2.1.3 请求头

2.1.4 请求参数

2.1.5 公共响应参数

2.1.6 响应参数

scheduleDay/scheduleTime 示例与说明

2.2 触发数据同步接口

2.2.1 URL

2.2.2 HTTP 方法

2.2.3 请求头

2.2.4 请求参数

示例

startDate/endDate 格式说明

2.2.5 公共响应参数

2.3 查询数据集实例接口

2.3.1 URL

2.3.2 HTTP 方法

2.3.3 请求头

2.3.4 请求参数

startDate/endDate 格式说明

2.3.5 公共响应参数

2.3.6 响应参数

syncStatus 说明

2.4 停止实例同步接口

2.4.1 URL

2.4.2 HTTP 方法

2.4.3 请求头

2.4.4 请求参数

示例

startDate/endDate 格式说明

2.4.5 公共响应参数

3.1 查询可执行子任务接口

3.1.1 URL

3.1.2 HTTP 方法

3.1.3 请求头

3.1.4 请求参数

3.1.5 公共响应参数

3.1.6 响应参数

scheduleTimeSettings 示例与说明

3.2 执行子任务接口

3.2.1 URL

3.2.2 HTTP 方法

3.2.3 请求头

3.2.4 请求参数

示例

startTime/endTime 格式说明

3.2.5 公共响应参数

3.3 查询任务实例接口

3.3.1 URL

3.3.2 HTTP 方法

3.3.3 请求头

3.3.4 请求参数

insStatus 说明

3.3.5 公共响应参数

3.3.6 响应参数

status 说明

3.4 终止任务实例接口

3.4.1 URL

3.4.2 HTTP 方法

3.4.3 请求头

3.4.4 请求参数

示例

3.4.5 公共响应参数