配置 Kudu 数据源

DataSail 中 Kudu 数据源为您提供读取和写入 Kudu 的双向通道功能，实现不同数据源与 Kudu 数据源之间进行数据传输。
本文为您介绍DataSail的Kudu数据同步的能力支持情况。

1 支持的 Kudu 版本

DataSail 支持 Kudu 1.14.0 及以上自建的开源版本。

2 使用限制

1. 子账号新建数据源时，需要有项目的管理员角色，方可以进行新建数据源操作。各角色对应权限说明，详见：管理成员

2. 目前仅支持可视化离线读取 Kudu 数据和脚本模式（DSL）读取、写入 Kudu 数据。

3 支持的字段类型

4 数据同步任务开发

4.1 数据源注册

新建数据源操作详见配置数据源，下面为您介绍用连接串方式配置 Kudu 数据源信息：

4.2 新建离线任务

Kudu 数据源测试连通性成功后，进入到数据开发界面，开始新建 Kudu 相关通道任务。
新建任务方式详见离线数据同步。

4.3 可视化配置说明

任务创建成功后，您可根据实际场景，配置 Kudu 离线读通道任务。

4.3.1 Kudu 离线读

数据来源选择 Kudu，并完成以下相关参数配置：
其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数。

4.3.2 Kudu 离线写

Kudu 可视化离线写配置方式暂未支持。

4.3.3 字段映射

数据来源和目标端配置完成后，需要指定来源和目标端的字段映射关系，根据字段映射关系，数据集成任务将源端字段中的数据，写入到目标端对应字段中。
您可通过以下三种方式操作字段映射关系：

• 自动添加：单击自动添加按钮，根据两端数据表信息，可以自动填充来源和目标的字段信息。

• 手动添加：单击手动添加按钮，可以手动编辑来源和目标的字段信息，可以逐个添加。

• 移动\删除字段：您也可以根据需要移动字段映射顺序或删除字段。

4.4 DSL 配置说明

Kudu 数据源支持使用脚本模式（DSL）的方式进行配置。
在某些复杂场景下，或当数据源类型暂不支持可视化配置时，您可通过任务脚本的方式，按照统一的 Json 格式，编写 Kudu Reader 和 Kudu Writer 参数脚本代码，来运行数据集成任务。

4.4.1 进入 DSL 模式

进入 DSL 模式操作流程，可详见 MySQL 数据源-4.4.1 进入DSL 模式。

4.4.2 Kudu Reader

进入 DSL 模式编辑界面后，您可根据实际情况替换相应参数，Kudu Reader 脚本示例如下：

{
    "version": "0.2",
    "type": "batch",
    // reader config
    "reader": {
        "type": "kudu",
        "datasource_id": null,
        "parameter": {
            "class": "com.bytedance.bitsail.connector.kudu.source.KuduSource",
            "kudu_table_name": "sink_test2",
            "kudu_master_address_list": [
                "172.16.0.66:7051"
            ],
            "read_mode": "READ_LATEST",
            "predicates": "[\"AND\", [\">=\", \"key\", 1000], [\"IN\", \"age\", [999, 1001, 1003, 1005, 1007, 1009]], [\"NOTNULL\",\"name\"]]", 
            "columns": [
                {
                    "name": "key",
                    "type": "long",
                    "properties": "unique"
                },
                {
                    "name": "age",
                    "type": "int"
                },
                {
                    "name": "name",
                    "type": "string"
                }
            ]
        }
    },
    // writer config
    "writer": {
       ...
    },
    "common": {     
        ...
    }
}

Reader 参数说明，其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数：

4.4.3 Kudu Writer：

根据实际情况替换 Kudu Writer 相应参数，Kudu Writer 脚本示例如下：

{
    "version": "0.2",
    "type": "batch",
    "reader": {
        ...
    },
    // writer config
    "writer": {
        "type": "kudu",
        "datasource_id": null,
        "parameter": {
            "class": "com.bytedance.bitsail.connector.kudu.sink.KuduSink",
            "kudu_table_name": "sink_test2",
            "kudu_master_address_list": ["172.16.0.66:7051"],
            "columns": [
                {
                    "name": "key",
                    "type": "long",
                    "properties": "unique"
                },
                {
                    "name": "age",
                    "type": "int"
                },
                {
                    "name": "name",
                    "type": "string"
                }
            ]
        }
    },
    // common config
    "common": {
        ...
    }
}

Writer 参数说明，其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数：