配置 TLS 数据源

日志服务 TLS 是火山引擎提供针对日志类数据的一站式服务，提供日志采集、海量存储、检索分析、数据可视化、监控告警等功能，适用于应用运维、服务监控、等保合规等场景，全方位提升研发与运维效率。DataSail 中 TLS 数据源为您提供读取 TLS 数据的通道能力，实现 TLS 与不同数据源进行数据传输。
本文将为您介绍 DataSail 的 TLS 数据同步的能力支持情况。

1 使用前提

1. 子账号新建数据源时，需要有项目的管理员角色，方可以进行新建数据源操作。各角色对应权限说明，详见：管理成员。
2. 已开通 TLS 服务，并成功采集到日志数据。详见快速入门。
3. 不支持跨地域同步日志数据，即日志主题和 DataSail 项目应位于同一个地域。

2 支持的字段类型

TLS Reader 支持的字段类型如下：

3 数据同步任务开发

下文将为您介绍 TLS 数据集成同步任务的配置流程：

3.1 数据源注册

新建数据源操作详见配置数据源，下面为您介绍配置 TLS 数据源相关信息：
其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数。

3.2 新建任务

TLS 数据源测试连通性成功后，进入到数据开发界面，开始新建 TLS 相关通道任务。
新建任务方式详见离线数据同步、流式数据同步。

3.3 可视化配置说明

任务创建成功后，您可根据实际场景，配置 TLS 批式读、TLS 流式读等通道任务相关参数：

3.3.1 TLS 批式读

数据来源选择 TLS，并完成以下相关参数配置：
其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数。

3.3.2 TLS 流式读

数据来源段选择 TLS，并完成以下相关参数配置，其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数:

3.3.3 字段映射

数据来源和目标端配置完成后，需要指定来源和目标端的字段映射关系，根据字段映射关系，数据集成任务将源端字段中的数据，写入到目标端对应字段中。
您可通过以下几种方式操作字段映射关系：

• 同名映射：单击同名映射按钮，可通过目标端字段同名映射的方式，来填充源端表字段信息。
• 手动添加：单击手动添加按钮，可以手动编辑来源和目标的字段信息，可以逐个添加。
• 移动\删除字段：您也可以根据需要移动字段映射顺序或删除字段。

3.3.4 TLS 流式读任务运行参数说明

流式任务运行参数与离线任务运行参数配置属性不同，下面将为您介绍流式任务运行参数配置说明：

3.4 DSL 配置说明

TLS 数据源支持使用脚本模式（DSL）的方式进行配置。
在某些复杂场景下，或当数据源类型暂不支持可视化配置时，您可通过任务脚本的方式，按照统一的 Json 格式，编写 TLS Reader 参数脚本代码，来运行数据集成任务。

3.4.1 进入 DSL 模式

进入 DSL 模式操作流程，可详见 MySQL 数据源-4.4.1 进入DSL 模式。

3.4.2 TLS Reader（批式读）

进入 DSL 模式编辑界面后，您可根据实际情况替换相应参数，TLS Reader 批式读脚本示例如下：

{
    // [required] dsl version, suggest to use latest version
    "version": "0.2",
    // [required] execution mode, supoort streaming / batch now
    "type": "batch",
    // reader config
    "reader": {
        // [required] datasource type
        "type": "tls",
        // [optional] datasource id, set it if you have registered datasource
        "datasource_id": null,
        // [required] user parameter
        "parameter": {
            // ********** please write here **********
            // "key" : value
            "class": "com.bytedance.bitsail.connector.tls.source.TLSSource",
            "access_id": "****************",
            "access_key": "****************",
            "end_point": "https://tls-cn-beijing.ivolces.com",
            "region": "cn-beijing",
            "tls_topic": "****************",
            "start_time": "20231201101000",
            "end_time": "20231201111000",
            "columns": [
                {
                    "name": "k1",
                    "type": "string"
                },
                {
                    "name": "k2",
                    "type": "string"
                }
            ]
        }
    },
    // writer config
    "writer": {
        ...
    },
    
    // common config
    "common": {
        ...
    }
}

参数说明，其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数：

3.4.3 TLS Reader（流式读）

TLS Reader 流式读数据源示例如下：

{
    // [required] dsl version, suggest to use latest version
    "version": "0.2",
    // [required] execution mode, supoort streaming / batch now
    "type": "streaming",
    // reader config
    "reader": {
        // [required] datasource type
        "type": "tls",
        // [optional] datasource id, set it if you have registered datasource
        "datasource_id": null,
        // [required] user parameter
        "parameter": {
            // ********** please write here **********
            // "key" : value
            "class": "com.bytedance.bitsail.connector.tls.source.TLSSource",
            "access_id": "****************",
            "access_key": "****************",
            "end_point": "https://tls-cn-beijing.ivolces.com",
            "region": "cn-beijing",
            "tls_topic": "****************",
            "start_time": "20231201101000"
        }
    },
    "writer":{
         ...
    },
    // common config
    "common": {
        // [required] user parameter
        "parameter": {
            // ********** please write here **********
            // "key" : value
            "convert_dump_args": false,
            ...
        }
    }
}

参数说明，其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数：