Python

火山引擎DataSail提供通用数据上报Python SDK，用户在开通DataSail服务之后，可以通过API将数据上报到火山云DataSail。

服务开通

请确保您已开通了您需要访问的服务。您可前往火山引擎控制台开通全域数据集成服务，详见服务开通。

获取安全凭证

Access Key（访问密钥）是访问火山引擎服务的安全凭证，包含Access Key ID（简称为AK）和Secret Access Key（简称为SK）两部分。您可登录火山引擎控制台，前往访问控制 的访问密钥 中创建及管理您的Access Key。更多信息可参考访问密钥帮助文档 。

产品接入

1. 申请Topic

路径：数据采集-topic管理-新建Topic

1. 申请数据采集

路径：数据采集-采集管理-新建采集任务

所需信息汇总

服务域名

版本要求

Python 版本>=3.5

接入示例

1. 将python包导入本地仓库

general\_collector\_python\_cloud-1.0.0-py3-none-any.whl

15.99KB

pip3 install general_collector_python_cloud-1.0.0-py3-none-any.whl

2. 示例代码

from general_collector.exceptions import *
from general_collector.config import *
from general_collector.request import *
from general_collector.response import *
from general_collector.collector import *

if __name__ == '__main__':
    # 配置Config参数
    config = Config(os.getenv('AK'), os.getenv('SK'), os.getenv('ENDPOINT'), os.getenv('TASK_KEY'))
    # 创建Collector对象
    collector = GeneralCollector(config)

    # 上报任意类型的数据
    generalReq = GeneralDataRequest('test')
    try:
        resp = collector.collect_general_data(generalReq)
        print(resp)
    except general_collector.exceptions.CollectException as e:
        print(e)
    except Exception as e:
        print(e)

    # 通过JsonArray批量上报数据，需符合JsonArray的格式
    jsonReq = JsonArrayRequest("""["a","b","c"]""")
    try:
        resp = collector.collect_json_array(jsonReq)
        print(resp)
    except general_collector.exceptions.CollectException as e:
        print(e)
    except Exception as e:
        print(e)
        
    
    # Collector不再使用时关闭
    collector.close()

3. 接口说明

通用数据上报

collect_general_data用于上报任意类型的数据，GeneralDataRequest中的data会原封不动地传至服务端，服务端收到数据后直接投递至task_key对应的topic。

// 上报通用数据(任意类型)，请求失败时抛 CollectException
collect_general_data(req: GeneralDataRequest) -> GeneralDataResponse

Json数组上报

collectJsonArray通过Json数组上报批量数据，JsonArrayRequest中的data需要符合Json Array的格式；服务端收到数据后，会以Json Array进行解析，并遍历Json Array中的每一个Item，将抓包后的每一个Item投递至task_key对应的topic。

// 上报Json数组，请求失败时抛 CollectException
collect_json_array(req: JsonArrayRequest) -> JsonArrayResponse

4. 异常说明

• GeneralCollector初始化

  • 当Config配置错误时，会抛出异常 Exception

• GeneralCollector方法调用

  • 对数据上报不符合预期的情况，会抛出异常CollectException，需要调用方关注

响应