You need to enable JavaScript to run this app.
导航
配置 TLS 数据源
最近更新时间:2024.06.13 12:00:25首次发布时间:2023.12.21 17:30:53

日志服务 TLS 是火山引擎提供针对日志类数据的一站式服务,提供日志采集、海量存储、检索分析、数据可视化、监控告警等功能,适用于应用运维、服务监控、等保合规等场景,全方位提升研发与运维效率。DataSail 中 TLS 数据源为您提供读取 TLS 数据的通道能力,实现 TLS 与不同数据源进行数据传输。
本文将为您介绍 DataSail 的 TLS 数据同步的能力支持情况。

1 使用前提

  1. 子账号新建数据源时,需要有项目的管理员角色,方可以进行新建数据源操作。各角色对应权限说明,详见:管理成员
  2. 已开通 TLS 服务,并成功采集到日志数据。详见快速入门
  3. 不支持跨地域同步日志数据,即日志主题和 DataSail 项目应位于同一个地域。

2 支持的字段类型

TLS Reader 支持的字段类型如下:

字段类型

描述

支持情况

STRING

字符串

支持

3 数据同步任务开发

下文将为您介绍 TLS 数据集成同步任务的配置流程:

3.1 数据源注册

新建数据源操作详见配置数据源,下面为您介绍配置 TLS 数据源相关信息:
其中参数名称前带 * 的为必填参数,名称前未带 * 的为可选填参数。

参数

说明

基本配置

*数据源类型

火山引擎 TLS

*接入方式

TLS

*数据源名称

数据源的名称,可自行设置,仅支持中文,英文,数字,“_”,100个字符以内。

描述

对当前新建数据源的注释说明,方便以后维护。

参数配置

*TLS 日志项目 ID

输入 TLS 中创建的项目 ID。若您还未创建日志项目,您可前往日志服务控制台进行创建,详细信息请参考日志项目

*Access Key ID

进入火山引擎,访问控制台的密钥管理界面,复制 Accesskey ID 填写到此处。如果为子用户的 AK/SK 信息,可联系主账号获取或创建子用户密钥。详见秘钥管理

说明

填写的 AK\SK 信息,需要有对应日志项目的权限。

*Secret Access Key

与 Access Key ID 配套使用,类似登录密码,用于签名您的访问参数,以防被篡改。

3.2 新建任务

TLS 数据源测试连通性成功后,进入到数据开发界面,开始新建 TLS 相关通道任务。
新建任务方式详见离线数据同步流式数据同步

3.3 可视化配置说明

任务创建成功后,您可根据实际场景,配置 TLS 批式读、TLS 流式读等通道任务相关参数:

说明

TLS 批式写、TLS 流式写暂不支持。

3.3.1 TLS 批式读

数据来源选择 TLS,并完成以下相关参数配置:
其中参数名称前带 * 的为必填参数,名称前未带 * 的为可选填参数。

参数

说明

*数据源类型

下拉选择 TLS 数据源类型。

*数据源名称

已在数据源管理界面注册的 TLS 数据源,下拉可选。
若还未建立相应数据源,可单击数据源管理按钮,前往创建 TLS 数据源。

*日志主题

下拉选择 TLS 日志项目中已创建的日志主题。若您还未创建日志主题,创建操作可详见日志主题

*日志开始时间

日志存储的开始时间,您需要配置为 yyyyMMddHHmmss 格式。

*日志结束时间

日志存储的结束时间,您需要配置为 yyyyMMddHHmmss 格式。

3.3.2 TLS 流式读

数据来源段选择 TLS,并完成以下相关参数配置,其中参数名称前带 * 的为必填参数,名称前未带 * 的为可选填参数:

参数

说明

*数据源类型

下拉选择 TLS 数据源类型。

*数据源名称

已在数据源管理界面注册的 TLS 数据源,下拉可选。
若还未建立相应数据源,可单击数据源管理按钮,前往创建 TLS 数据源。

*日志主题

下拉选择 TLS 日志项目中已创建的日志主题。若您还未创建日志主题,创建操作可详见日志主题

3.3.3 字段映射

数据来源和目标端配置完成后,需要指定来源和目标端的字段映射关系,根据字段映射关系,数据集成任务将源端字段中的数据,写入到目标端对应字段中。
您可通过以下几种方式操作字段映射关系:

  • 同名映射:单击同名映射按钮,可通过目标端字段同名映射的方式,来填充源端表字段信息。
  • 手动添加:单击手动添加按钮,可以手动编辑来源和目标的字段信息,可以逐个添加。
  • 移动\删除字段:您也可以根据需要移动字段映射顺序或删除字段。

3.3.4 TLS 流式读任务运行参数说明

流式任务运行参数与离线任务运行参数配置属性不同,下面将为您介绍流式任务运行参数配置说明:

配置项

说明

是否开启归档

默认否,暂不支持开启归档。

默认消费起始

选定消费 TLS 的起始方式:

  • 最新:设定从最新的日志数据进行启动。
  • 时间戳:可以选定一个时间戳,从这个时间戳进行启动。

图片

3.4 DSL 配置说明

TLS 数据源支持使用脚本模式(DSL)的方式进行配置。
在某些复杂场景下,或当数据源类型暂不支持可视化配置时,您可通过任务脚本的方式,按照统一的 Json 格式,编写 TLS Reader 参数脚本代码,来运行数据集成任务。

3.4.1 进入 DSL 模式

进入 DSL 模式操作流程,可详见 MySQL 数据源-4.4.1 进入DSL 模式

3.4.2 TLS Reader(批式读)

进入 DSL 模式编辑界面后,您可根据实际情况替换相应参数,TLS Reader 批式读脚本示例如下:

{
    // [required] dsl version, suggest to use latest version
    "version": "0.2",
    // [required] execution mode, supoort streaming / batch now
    "type": "batch",
    // reader config
    "reader": {
        // [required] datasource type
        "type": "tls",
        // [optional] datasource id, set it if you have registered datasource
        "datasource_id": null,
        // [required] user parameter
        "parameter": {
            // ********** please write here **********
            // "key" : value
            "class": "com.bytedance.bitsail.connector.tls.source.TLSSource",
            "access_id": "****************",
            "access_key": "****************",
            "end_point": "https://tls-cn-beijing.ivolces.com",
            "region": "cn-beijing",
            "tls_topic": "****************",
            "start_time": "20231201101000",
            "end_time": "20231201111000",
            "columns": [
                {
                    "name": "k1",
                    "type": "string"
                },
                {
                    "name": "k2",
                    "type": "string"
                }
            ]
        }
    },
    // writer config
    "writer": {
        ...
    },
    
    // common config
    "common": {
        ...
    }
}

参数说明,其中参数名称前带 * 的为必填参数,名称前未带 * 的为可选填参数:

参数名

参数说明

*type

数据源类型,对于 TLS 类型,填写:tls。

*datasource_id

目前 DSL 模式默认推荐不填写数据源 ID,这里可填写 null。

*class

tls reader connector type,默认固定值:
com.bytedance.bitsail.connector.tls.source.TLSSource。

*access_id

进入火山引擎,访问控制台的密钥管理界面,复制 Accesskey ID 填写到此处。如果为子用户,请联系主账号获取密钥。

说明

说明
填写的 AK\SK 信息,需要有对应日志主题的权限。

*access_key

与 access_id 配套使用,类似登录密码,用于签名您的访问参数,以防被篡改。

*end_point

日志服务的私网服务地址(Endpoint),即指定承载服务端点的服务器域名或 IP。详细说明请参考服务地址

*region

日志项目所在地域 ID(Region ID)。详细说明请参考服务地址

*tls_topic

输入 TLS 中创建的日志主题 ID。若您还未创建日志主题,创建操作可详见日志主题

*start_time

日志存储的开始时间,您需要配置为 yyyyMMddHHmmss 格式。

*end_time

日志存储的结束时间,您需要配置为 yyyyMMddHHmmss 格式。

*columns

所配置的表中,需要同步的列名集合,使用 JSON 的数组描述字段信息。

3.4.3 TLS Reader(流式读)

TLS Reader 流式读数据源示例如下:

{
    // [required] dsl version, suggest to use latest version
    "version": "0.2",
    // [required] execution mode, supoort streaming / batch now
    "type": "streaming",
    // reader config
    "reader": {
        // [required] datasource type
        "type": "tls",
        // [optional] datasource id, set it if you have registered datasource
        "datasource_id": null,
        // [required] user parameter
        "parameter": {
            // ********** please write here **********
            // "key" : value
            "class": "com.bytedance.bitsail.connector.tls.source.TLSSource",
            "access_id": "****************",
            "access_key": "****************",
            "end_point": "https://tls-cn-beijing.ivolces.com",
            "region": "cn-beijing",
            "tls_topic": "****************",
            "start_time": "20231201101000"
        }
    },
    "writer":{
         ...
    },
    // common config
    "common": {
        // [required] user parameter
        "parameter": {
            // ********** please write here **********
            // "key" : value
            "convert_dump_args": false,
            ...
        }
    }
}

参数说明,其中参数名称前带 * 的为必填参数,名称前未带 * 的为可选填参数:

参数名

参数说明

*type

数据源类型,对于 TLS 类型,填写:tls。

*datasource_id

目前 DSL 模式默认推荐不填写数据源 ID,这里可填写 null。

*class

tls reader connector type,默认固定值:
com.bytedance.bitsail.connector.tls.source.TLSSource。

*access_id

进入火山引擎,访问控制台的密钥管理界面,复制 Accesskey ID 填写到此处。如果为子用户,请联系主账号获取密钥。

说明

填写的 AK\SK 信息,需要有对应日志主题的权限。

*access_key

与 access_id 配套使用,类似登录密码,用于签名您的访问参数,以防被篡改。

*end_point

日志服务的私网服务地址(Endpoint),即指定承载服务端点的服务器域名或 IP。详细说明请参考服务地址

*region

日志项目所在地域 ID(Region ID)。详细说明请参考服务地址

*tls_topic

TLS 中创建的日志主题 ID。若您还未创建日志主题,创建操作可详见日志主题

start_time

日志存储的开始时间,您需要配置为yyyyMMddHHmmss格式。不填默认从最新的日志数据进行读取。