配置 TDengine 数据源--大数据研发治理套件-火山引擎

文档中心

导航

配置 TDengine 数据源

最近更新时间：2023.11.09 17:43:57首次发布时间：2023.11.09 17:43:57

DataSail 中的 TDengine 数据源为您提供离线和实时读取 TDengine 数据的单向通道能力，实现从 TDengine 读取数据后，写入到不同目标数据源中，进行数据传输。
下文将为您介绍 DataSail 中 TDengine 数据源的数据同步能力支持情况。

1 风险说明

由于数据源特性等原因，TDengine 的流式读取通道能力仅支持 at least once 语义，异常情况下任务失败恢复后可能造成下游数据重复。在严格要求 exactly once 语义的场景下，需谨慎使用。

支持 TDengine 3.1.0.3 及更高版本。

为确保同步任务使用的独享集成资源组具有 TDengine 数据源服务器的网络访问能力，TDengine REST 端口（默认 6041）需在服务器的防火墙中已开放。不同网络环境互通方案详见网络连通解决方案。
TDengine 目前仅支持 JDBC REST 连接方式。
DataSail 需要访问 TDengine(3.1+) 的元数据，需确保配置连接的用户有访问 information_schema 库的权限。
DataSail 实时同步采取数据订阅方式，需确保连接 TDengine 的用户有 Create Topic 的权限。

新建数据源操作详见配置数据源，以下为您介绍使用连接串方式配置 TDengine 数据源相关信息：

参数	说明
基本配置
数据源类型	TDengine
接入方式	连接串
数据源名称	数据源的名称，可自行设置，仅支持中文，英文，数字，“_”，100个字符以内。
参数配置
主机名或 IP 地址	填写连接 TDengine 服务器的主机名或 IP 地址。
连接类型	使用 JDBC REST 方式连接时选择 TAOS-RS，目前仅支持 TAOS-RS 连接方式。
端口	填写 TDengine JDBC REST 端口信息。
数据库	创建 TDengine 数据库时，数据库的名称。
用户名	数据库登录账号名称。
密码	数据库账号密码。

数据来源选择 TDengine，并完成以下相关参数配置：
其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数。

参数	说明
*数据源类型	下拉选择 TDengine 数据源类型。
*数据源名称	已在数据源管理中注册成功的 TDengine 数据源，下拉可选。若还未建立相应数据源，可单击数据源管理按钮，前往创建 TDengine 数据源。
*超级表/表名称	可下拉选择已创建好的超级表或普通表名称信息。
子表名	若上一步选择的是超级表，可下拉选择超级表的子表；若上一步选择的是普通表，则下拉列表为空，无需字表名选择。
数据过滤	数据同步过滤的条件，需要符合支持您将需要同步的数据进行筛选条件设置，只同步符合过滤条件的数据，可直接填写关键词 where 后的过滤 SQL 语句，过滤语句需要符合 TDengine SQL 语法。语句填写完成后，您可单击右侧的校验按钮，进行过滤语句校验。

数据来源选择 TDengine，并完成以下相关参数配置：
其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数。

参数

说明

*数据源类型

下拉选择 TDengine 数据源类型。

*数据源名称

已在数据源管理中注册成功的 TDengine 数据源，下拉可选。
若还未建立相应数据源，可单击数据源管理按钮，前往创建 TDengine 数据源。

*类型

支持选择直接同步 TDengine 数据库中的超级表或普通表，或读取已经创建好的 Topic，可根据实际场景选择：

超级表/表名称：若选择的类型是超级表/表，可下拉选择需要同步的超级表或普通表名称。
说明
该方式 DataSail 会在数据库中自动创建 Topic，数据源配置时填写的账号，需拥有创建 Topic 的权限。
Topic 名称：若选择的类型是 Topic，则可直接下拉选择已经创建好的 Topic。

数据来源和目标端配置完成后，需要指定来源和目标端的字段映射关系，根据字段映射关系，数据集成任务将源端字段中的数据，写入到目标端对应字段中。
您可通过以下三种方式操作字段映射关系：

对于可视化通道任务，读参数需要加上 job.reader. 前缀，如下图所示：

参数名	描述	默认值
timezone	TDengine 数据库的时区	UTC