配置 Doris 数据源

Doris 是一个现代化的 MPP 分析型数据库产品，DataSail 中 Doris 数据源支持您通过配置数据集成同步任务方式，来读取或写入火山引擎 E-MapReduce（EMR）Doris 集群数据库中的数据，为您提供双向通道能力，实现不同数据源中的数据与 Doris之间进行数据传输。
本文为您介绍 DataSail 的 Doris 数据同步能力支持情况。

1 支持的版本

1. Doris Writer 使用的驱动版本是 MySQL Driver 5.1.49，该驱动支持的内核版本为 Doris 1.2.X。驱动能力详情请参见Doris官网文档。
2. Doris 数据源支持写入 EMR-3.2.0 及以上版本 Doris 集群和 OLAP 服务中 1.1.0 及以上版本全托管 Doris 引擎。

2 使用前提

1. 子账号新建数据源时，需要有项目的管理员角色，方可以进行新建数据源操作。各角色对应权限说明，详见：管理成员。
2. Doris 数据源配置时，EMR 集群对应的集群实例 ID 信息、数据库用户名密码需填写正确，Doris 集群操作详见 Doris 基础使用。

   注意

   1. 填写的数据库用户名信息，必须拥有相应数据库表的读写权限，来保障任务数据能够被正常读取或写入 Doris 中。
   2. 必须有账户密码信息，其中 root 账户无密码，不符合安全规范，数据源配置时无法使用。
3. EMR Doris 集群和独享集成资源组中的 VPC 必须一致，其 VPC 下的子网和安全组也尽可能保持一致。
   • 若子网和安全组不一致时，则需要在 Doris 集群的安全组上，在入方向规则处，添加独享集成资源组子网的 IP 网段：
     1. 在 EMR Doris 集群详情界面，进入集群所在的安全组，并添加入方向规则。
        
     2. 在弹窗中，填写独享集成资源组绑定子网的 IPv4 CIDR 网段：
        

3 支持的字段类型

4 数据同步任务开发

下文将为您介绍 Doris 数据集成同步任务的配置流程：

4.1 数据源注册

新建数据源操作详见配置数据源，下面为您介绍配置 Doris 数据源相关信息：

4.2 新建任务

Doris 数据源测试连通性成功后，进入到数据开发界面，开始新建 Doris 相关通道任务。
新建任务方式详见离线数据同步、流式数据同步。

4.3 可视化配置说明

任务创建成功后，您可根据实际场景，配置 Doris 离线读写、Doris 流式写等通道任务相关参数：

4.3.1 Doris 离线读

数据来源选择 Doris，并完成以下相关参数配置：
其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数。

4.3.2 Doris 离线写

数据目标端选择 Doris，并完成以下相关参数配置：
其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数。

4.3.3 Doris 流式写

流式数据写入 Doris 集成任务，数据目标端选择 Doris，并完成以下相关参数配置：
其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数。

4.3.4 字段映射

数据来源和目标端配置完成后，需要指定来源和目标端的字段映射关系，根据字段映射关系，数据集成任务将源端字段中的数据，写入到目标端对应字段中。
您可通过以下三种方式操作字段映射关系：

• 自动添加：单击自动添加按钮，根据两端数据表信息，可以自动填充来源和目标的字段信息。
• 手动添加：单击手动添加按钮，可以手动编辑来源和目标的字段信息，可以逐个添加。
• 移动\删除字段：您也可以根据需要移动字段映射顺序或删除字段。

4.4 DSL 配置说明

Doris 数据源支持使用脚本模式（DSL）的方式进行配置。
在某些复杂场景下，您可通过任务脚本的方式，按照统一的 Json 格式，编写 Doris Writer 参数脚本代码，来运行数据集成任务。

4.4.1 进入 DSL 模式

1. 在可视化任务编辑界面，单击上方工具栏切换至脚本模式按钮，进入编辑界面。

   说明

   切换脚本模式将清空现有可视化界面配置，一旦切换无法撤销。

   
2. 首次使用 DSL 模式配置时，您可通过单击界面导入脚本模板按钮，在模板的基础上，进行相应配置的修改，提升任务配置效率。
   

   说明

   导入新的脚本模版将清空现有内容，一旦导入无法撤销。

   以下分别为您介绍 Doris 数据源写的示例脚本，您可根据实际情况替换相应参数：

4.4.1 Doris 离线写

进入 DSL 模式编辑界面后，您可根据实际情况替换相应参数，Doris 离线写脚本示例如下：

// **************************************
// 变量使用规则如下:
// 1.自定义参数变量: {{}}, 比如{{number}}
// 2.系统时间变量${}, 比如 ${date}、${hour}
// **************************************
{
    // [required] dsl version, suggest to use latest version
    "version": "0.2",
    // [required] execution mode, supoort streaming / batch now
    "type": "batch",
    // reader config
    "reader": {
        // [required] datasource type
        "type": "xx",
        // [optional] datasource id, set it if you have registered datasource
        "datasource_id": null,
        // [required] user parameter
        "parameter": {
            // ********** please write here **********
            // "key" : value
          
        }
    },    
    // writer config
    "writer": {
        // [required] datasource type
        "type": "doris",
        // [optional] datasource id, set it if you have registered datasource
        "datasource_id": null,
        // [required] user parameter
        "parameter": {
            // ********** please write here **********
            // "key" : value
            "partitions": [
                {
                    "name": "partition_name_sample",
                    "start_range": [
                        "start1",
                        "start2"
                    ],
                    "end_range": [
                        "end1",
                        "end2"
                    ]
                }
            ],
            "columns": [
                {
                    "name": "name_sample",
                    "type": "type_sample"
                }
            ],
            "pre_sql":[""],
            "post_sql":[""],
            "sink_write_mode": "BATCH_REPLACE",
            "table_name": "table_name_sample",
            "password": "password_sample",
            "db_name": "db_name_sample",
            "table_model": "PRIMARY/DUPLICATE/UNIQUE/AGGREGATE",
            "fe_hosts": "x.x.x.x:x,x.x.x.x:x",
            "class": "com.bytedance.dts.doris.sink.DorisWriterGenerator",
            "user": "user_sample"
        }
    },
    // common config
    "common": {
        // [required] user parameter
        "parameter": {
            // ********** please write here **********
            // "key" : value
        }
    }
}

Writer 参数说明，其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数：

"partitions":[
    {
        "name":"p20220210_03",
        "start_range":["2022-02-10","3"],
        "end_range":["2022-02-10","4"]
    },
    {
        "name":"p20220211_03",
        "start_range":["2022-02-11","3"],
        "end_range":["2022-02-11","4"]
    }
]

4.5 高级参数说明

• 对于可视化通道任务，写参数需要加上 job.writer. 前缀，如下图所示：
  
• 对于 DSL 任务，写参数请配置到 writer.parameter 下，直接输入参数名称和参数值。如下图所示：
  

4.5.1 Doris 写入高级参数（可选配置）

支持以下高级参数，您可根据实际情况进行配置：