原始数据导出 API（SaaS）

本文档为为SaaS产品原始数据自定义导出的使用文档；
私有化版本可以查看私有化文档-原始数据导出 API 。
通过该文档为T+1离线的方式导出原始数据，如果需要实时数据可以查看数据分发。

特别说明：云原生版本暂不支持数据导出。

为了保证您和用户的数据安全，应用原始数据导出的接口权限默认是关闭的。
在开始使用之前，您需要联系客服开通数据导出功能。
开通原始数据导出功能后，系统会每天自动执行任务，导出前一天数据并上传文件系统，您可以通过该开放接口获取和导出开通之日之后的原始数据。
根据数据时间（当天时间为T），接口分为:
（1）T-7 至 T-1数据导出，对应api为【3.获取数据文件清单API】，数据会由系统定时为您导出，需要注意的是如果数据导出功能开通时间在T-7之后，则只能获取自功能开通之日起的数据；
（2）历史 至 T-8数据导出，对应api为【4.提交自定义数据导出API】和【5.获取自定义导出数据清单API】，需要您使用【4.提交自定义数据导出API】提交对应日期的数据导出任务，系统会为您自动导出，导出速率约为1天可以导出单个应用1个月的数据，等待数据导出完成后，使用【5.获取自定义导出数据清单API】获取数据文件地址，需要注意的是，最远支持导出T-450的历史数据。

Context-path: /datarangers
Path-parameters:

Response:

{
        "code": 200,
        "data": [{REULT_OBJECT}],
        "message": "success"
}

• code 状态码，200 表示成功，其他非失败

• message 成功或失败信息

• data 结果数据，为一个json object array

3.1 API 定义 #

Path：/openapi/v2/{app_id}/date/{begin_date}/{end_date}/downloads
Method: GET
Content-type: application/json
Path-parameters:

3.2 OpenAPI SDK 使用样例 #

bc 为创建的 RangersClient, 其初始化请参考 “OpenAPI SDK 使用说明”， 各语言的 SDK 都提供了类似的接口

调用(Python)：

# 这是 Python 示例
res = bc.data_rangers('/openapi/v2/{appid}/date/{begin_date}/{end_date}/downloads', method='get')
print(res.content)

返回结果：

{
        "code": 200,
        "data": [{
                "date": "2021-10-10",
                "urls": ["http://xxxx/xxxx.txt.gz"],
                "row_count": 10,
                "expire_time": "2021-11-09"
        }, {
                "date": "2021-10-11",
                "urls": ["http://xxxx/xxxx.txt.gz"],
                "row_count": 200,
                "expire_time": "2021-11-10"
        }],
        "message": "success"
}

该接口支持自定义数据导出，需注意以下几点：

1. 开始日期不能早于450天之前；

2. 结束日期不能是最近7天（最近7天由定时任务导出），如当前日期为2021-06-24，则结束日期必须小于2021-06-17；

3. 起始日期和结束日期间隔不能超过365天；

4. 可以提交多个导出请求，但是请求之间日期不能重合；

5. 导出任务会按照提交时间依次执行，数据导出之后，文件会保存30天，您在提交导出任务之后，可以使用【获取自定义导出数据文件清单API】每天检查下对应数据是否完成导出。

4.1 API 定义 #

Path：/openapi/v1/{appid}/date/{begin_date}/{end_date}/exports
Method: Type: POST
Content-type: application/json
Path-parameters:

Body:
无

4.2 OpenAPI SDK 使用样例 #

bc 为创建的 RangersClient, 其初始化请参考 “OpenAPI SDK 使用说明”， 各语言的 SDK 都提供了类似的接口

调用(Python)：

# 这是 Python 示例
res = bc.data_rangers('/openapi/v1/{appid}/date/{begin_date}/{end_date}/exports', method='post', body='')
print(res.content)

返回结果：

{
        "code": 200,
        "message": "success"
}

该接口返回自定义导出数据的文件清单，需注意一下几点：

1. 同一个app_id多次提交的自定义导出数据，该接口会一次返回所有导出成功的数据文件清单；

2. 需在发起请求后的30天内及时取出文件，过期的数据不会在接口返回。

5.1 API 定义 #

Path：/openapi/v1/{app_id}/exports
Method: GET
Content-type: application/json
Path-parameters: 无特殊参数，参考公共参数即可

Response:

5.2 OpenAPI SDK 使用样例 #

bc 为创建的 RangersClient, 其初始化请参考 “OpenAPI SDK 使用说明”， 各语言的 SDK 都提供了类似的接口。
调用(Python)：

res = bc.data_rangers('/openapi/v1/{app_id}/exports', method='get')
print(res.content)

返回结果：

{
        "code": 200,
        "data": [{
                "date": "2020-02-10",
                "name": "app_launch",
                "urls": ["http://xxxx/obj/dptob-nj-dataexoort/xxxx.csv.gz"],
                "row_count": 10,
                "expire_time": "2020-03-10 12:00:00"
        }, {
                "date": "2020-02-10",
                "name": "origin_event",
                "urls": ["http://xxxx/obj/dptob-nj-dataexoort/xxxx.csv.gz"],
                "row_count": 302,
                "expire_time": "2020-03-10 12:00:00"
        }],
        "message": "success"
}

使用3或者5结果返回的urls，依次下载原始数据文件，可以并发下载，建议最多5个线程。
建议每日定时获取前一天的数据。

下载后的原始数据文件为csv.gz文件，可以直接导入hdfs，编码为utf-8。
文件字段字段如下：