配置 TDengine 数据源
最近更新时间：2023.11.09 17:43:57
首次发布时间：2023.11.09 17:43:57
DataSail 中的 TDengine 数据源为您提供离线和实时读取 TDengine 数据的单向通道能力，实现从 TDengine 读取数据后，写入到不同目标数据源中，进行数据传输。
下文将为您介绍 DataSail 中 TDengine 数据源的数据同步能力支持情况。
1 风险说明
由于数据源特性等原因，TDengine 的流式读取通道能力仅支持 at least once 语义，异常情况下任务失败恢复后可能造成下游数据重复。在严格要求 exactly once 语义的场景下，需谨慎使用。
2 支持的版本
支持 TDengine 3.1.0.3 及更高版本。
3 使用限制
为确保同步任务使用的独享集成资源组具有 TDengine 数据源服务器的网络访问能力，TDengine REST 端口（默认 6041）需在服务器的防火墙中已开放。不同网络环境互通方案详见网络连通解决方案。
TDengine 目前仅支持 JDBC REST 连接方式。
DataSail 需要访问 TDengine(3.1+) 的元数据，需确保配置连接的用户有访问 information_schema 库的权限。
DataSail 实时同步采取数据订阅方式，需确保连接 TDengine 的用户有 Create Topic 的权限。
4 支持的字段类型
| TDengine 支持的 Datasail 内部类型 | 离线读取 | 实时读取 |
|---|---|---|
| TIMESTAMP | 支持 | 支持 |
| INT | 支持 | 支持 |
| INT UNSIGNED | 支持 | 支持 |
| SMALLINT | 支持 | 支持 |
| SMALLINT UNSIGNED | 支持 | 支持 |
| TINYINT | 支持 | 支持 |
| TINYINT UNSIGNED | 支持 | 支持 |
| BIGINT | 支持 | 支持 |
| BIGINT UNSIGNED | 支持 | 支持 |
| FLOAT | 支持 | 支持 |
| DOUBLE | 支持 | 支持 |
| BINARY | 支持 | 支持 |
| BOOL | 支持 | 支持 |
| NCHAR | 支持 | 支持 |
| JSON | 支持 | 支持 |
| VARCHAR | 支持 | 支持 |
| GEOMETRY | 不支持 | 不支持 |
| VARBINARY | 不支持 | 不支持 |
4 数据同步任务开发
4.1 数据源注册
新建数据源操作详见配置数据源，以下为您介绍使用连接串方式配置 TDengine 数据源相关信息：
| 参数 | 说明 |
|---|---|
| 基本配置 | |
| 数据源类型 | TDengine |
| 接入方式 | 连接串 |
| 数据源名称 | 数据源的名称，可自行设置，仅支持中文，英文，数字，“_”，100个字符以内。 |
| 参数配置 | |
| 主机名或 IP 地址 | 填写连接 TDengine 服务器的主机名或 IP 地址。 |
| 连接类型 | 使用 JDBC REST 方式连接时选择 TAOS-RS，目前仅支持 TAOS-RS 连接方式。 |
| 端口 | 填写 TDengine JDBC REST 端口信息。 |
| 数据库 | 创建 TDengine 数据库时，数据库的名称。 |
| 用户名 | 数据库登录账号名称。 |
| 密码 | 数据库账号密码。 |
4.2 TDengine 离线读
数据来源选择 TDengine，并完成以下相关参数配置：
其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数。
| 参数 | 说明 |
|---|---|
| *数据源类型 | 下拉选择 TDengine 数据源类型。 |
*数据源名称 | 已在数据源管理中注册成功的 TDengine 数据源，下拉可选。 |
| *超级表/表名称 | 可下拉选择已创建好的超级表或普通表名称信息。 |
子表名 |
|
数据过滤 | 数据同步过滤的条件，需要符合 |
4.3 TDengine 实时读
数据来源选择 TDengine，并完成以下相关参数配置：
其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数。
| 参数 | 说明 |
|---|---|
| *数据源类型 | 下拉选择 TDengine 数据源类型。 |
*数据源名称 | 已在数据源管理中注册成功的 TDengine 数据源，下拉可选。 |
*类型 | 支持选择直接同步 TDengine 数据库中的超级表或普通表，或读取已经创建好的 Topic，可根据实际场景选择：
|
4.4 字段映射
数据来源和目标端配置完成后，需要指定来源和目标端的字段映射关系，根据字段映射关系，数据集成任务将源端字段中的数据，写入到目标端对应字段中。
您可通过以下三种方式操作字段映射关系：
自动添加：单击自动添加按钮，根据两端数据表信息，可以自动填充来源和目标的字段信息。
手动添加：单击手动添加按钮，可以手动编辑来源和目标的字段信息，可以逐个添加。
移动\删除字段：您也可以根据需要移动字段映射顺序或删除字段。
5 高级参数说明
对于可视化通道任务，读参数需要加上 job.reader. 前缀，如下图所示：
| 参数名 | 描述 | 默认值 |
|---|---|---|
| timezone | TDengine 数据库的时区 | UTC |