You need to enable JavaScript to run this app.
导航
配置 TDengine 数据源
最近更新时间:2023.11.09 17:43:57首次发布时间:2023.11.09 17:43:57

DataSail 中的 TDengine 数据源为您提供离线和实时读取 TDengine 数据的单向通道能力,实现从 TDengine 读取数据后,写入到不同目标数据源中,进行数据传输。
下文将为您介绍 DataSail 中 TDengine 数据源的数据同步能力支持情况。

1 风险说明

由于数据源特性等原因,TDengine 的流式读取通道能力仅支持 at least once 语义,异常情况下任务失败恢复后可能造成下游数据重复。在严格要求 exactly once 语义的场景下,需谨慎使用。

2 支持的版本

支持 TDengine 3.1.0.3 及更高版本。

3 使用限制

  • 为确保同步任务使用的独享集成资源组具有 TDengine 数据源服务器的网络访问能力,TDengine REST 端口(默认 6041)需在服务器的防火墙中已开放。不同网络环境互通方案详见网络连通解决方案

  • TDengine 目前仅支持 JDBC REST 连接方式。

  • DataSail 需要访问 TDengine(3.1+) 的元数据,需确保配置连接的用户有访问 information_schema 库的权限。

  • DataSail 实时同步采取数据订阅方式,需确保连接 TDengine 的用户有 Create Topic 的权限。

4 支持的字段类型

TDengine 支持的 Datasail 内部类型离线读取实时读取
TIMESTAMP支持支持
INT支持支持
INT UNSIGNED支持支持
SMALLINT支持支持
SMALLINT UNSIGNED支持支持
TINYINT支持支持
TINYINT UNSIGNED支持支持
BIGINT支持支持
BIGINT UNSIGNED支持支持
FLOAT支持支持
DOUBLE支持支持
BINARY支持支持
BOOL支持支持
NCHAR支持支持
JSON支持支持
VARCHAR支持支持
GEOMETRY不支持不支持
VARBINARY不支持不支持

4 数据同步任务开发

4.1 数据源注册

新建数据源操作详见配置数据源,以下为您介绍使用连接串方式配置 TDengine 数据源相关信息:

参数说明
基本配置
数据源类型TDengine
接入方式连接串
数据源名称数据源的名称,可自行设置,仅支持中文,英文,数字,“_”,100个字符以内。
参数配置
主机名或 IP 地址填写连接 TDengine 服务器的主机名或 IP 地址。
连接类型使用 JDBC REST 方式连接时选择 TAOS-RS,目前仅支持 TAOS-RS 连接方式。
端口填写 TDengine JDBC REST 端口信息。
数据库创建 TDengine 数据库时,数据库的名称。
用户名数据库登录账号名称。
密码数据库账号密码。

4.2 TDengine 离线读

数据来源选择 TDengine,并完成以下相关参数配置:
其中参数名称前带 * 的为必填参数,名称前未带 * 的为可选填参数。

参数说明
*数据源类型下拉选择 TDengine 数据源类型。

*数据源名称

已在数据源管理中注册成功的 TDengine 数据源,下拉可选。
若还未建立相应数据源,可单击数据源管理按钮,前往创建 TDengine 数据源。

*超级表/表名称可下拉选择已创建好的超级表或普通表名称信息。

子表名

  • 若上一步选择的是超级表,可下拉选择超级表的子表;

  • 若上一步选择的是普通表,则下拉列表为空,无需字表名选择。

数据过滤

数据同步过滤的条件,需要符合
支持您将需要同步的数据进行筛选条件设置,只同步符合过滤条件的数据,可直接填写关键词 where 后的过滤 SQL 语句,过滤语句需要符合 TDengine SQL 语法。
语句填写完成后,您可单击右侧的校验按钮,进行过滤语句校验。

4.3 TDengine 实时读

数据来源选择 TDengine,并完成以下相关参数配置:
其中参数名称前带 * 的为必填参数,名称前未带 * 的为可选填参数。

参数说明
*数据源类型下拉选择 TDengine 数据源类型。

*数据源名称

已在数据源管理中注册成功的 TDengine 数据源,下拉可选。
若还未建立相应数据源,可单击数据源管理按钮,前往创建 TDengine 数据源。

*类型

支持选择直接同步 TDengine 数据库中的超级表或普通表,或读取已经创建好的 Topic,可根据实际场景选择:

  • 超级表/表名称:若选择的类型是超级表/表,可下拉选择需要同步的超级表或普通表名称。

    说明

    该方式 DataSail 会在数据库中自动创建 Topic,数据源配置时填写的账号,需拥有创建 Topic 的权限。

  • Topic 名称:若选择的类型是 Topic,则可直接下拉选择已经创建好的 Topic。

4.4 字段映射

数据来源和目标端配置完成后,需要指定来源和目标端的字段映射关系,根据字段映射关系,数据集成任务将源端字段中的数据,写入到目标端对应字段中。
您可通过以下三种方式操作字段映射关系:

  • 自动添加:单击自动添加按钮,根据两端数据表信息,可以自动填充来源和目标的字段信息。

  • 手动添加:单击手动添加按钮,可以手动编辑来源和目标的字段信息,可以逐个添加。

  • 移动\删除字段:您也可以根据需要移动字段映射顺序或删除字段。

5 高级参数说明

对于可视化通道任务,读参数需要加上 job.reader. 前缀,如下图所示:

参数名描述默认值
timezoneTDengine 数据库的时区UTC