ByteHouse 是一款火山引擎云原生数据仓库，为您提供极速分析体验，能够支撑实时数据分析和海量数据离线分析等场景。
DataSail 中的 ByteHouse 云数仓版数据源配置，为您提供读取和写入 ByteHouse 的双向通道数据集成能力，实现不同数据源与 ByteHouse 之间进行数据传输。
本文为您介绍 DataSail 的 ByteHouse 云数仓版的任务配置操作。

1 使用前提 #

配置 ByteHouse 云数仓版任务前，您需先进行以下操作：

• 开通 ByteHouse 云数据仓版服务。开通服务详见快速开始。
• 已创建 ByteHouse 数据库，详见数据库表及视图。
• 已创建合适资源规格的独享数据集成资源组，并将其绑定至创建成功的 DataLeap 项目下。购买操作详见资源组管理，项目绑定操作详见数据集成资源组。
• 完成 ByteHouse 云数仓版数据源配置，配置 ByteHouse 云数仓版 数据源。

2 支持的字段类型 #

• ByteHouse CDW Reader：

  数据类型	是否支持
  Int8 Int16 Int32 Int64 UInt8 UInt16 UInt32 UInt64	支持
  Float64	支持
  Decimal	支持
  Date	支持
  datetime	支持
  String	支持
  Enum8	支持
  Array	支持单层 Array 类型，不支持 Array 的嵌套类型

• ByteHouse CDW Writer：

  数据字段类型	支持情况
  Int	支持
  Uint	支持
  Float	支持
  String	支持
  Time	支持
  Array	支持单层 Array 类型，不支持 Array 的嵌套类型
  Map	支持
  BitMap64	支持
  JSONB	支持

3 新建离线任务 #

ByteHouse 云数仓版（ByteHouse_CDW）数据源测试连通性成功后，进入到数据开发界面，开始新建 ByteHouse 相关通道任务。
新建任务方式详见离线数据同步。

4 可视化配置说明 #

任务创建成功后，您可根据实际场景，配置 ByteHouse_CDW 批式读或 ByteHouse_CDW 批式写等通道任务。

4.1 ByteHouse_CDW 批式读 #

数据来源选择 ByteHouse_CDW，并完成以下相关参数配置：
其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数。

4.2 ByteHouse_CDW 批式写 #

数据来源选择 ByteHouse_CDW，并完成以下相关参数配置：
其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数。

4.3 ByteHouse_CDW 流式写 #

数据来源选择 ByteHouse_CDW，并完成以下相关参数配置：
其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数。

4.4 字段映射 #

数据来源和目标端配置完成后，需要指定来源和目标端的字段映射关系，根据字段映射关系，数据集成任务将源端字段中的数据，写入到目标端对应字段中。
字段映射支持选择基础模式和转换模式配置映射：

• 转换模式：
  字段映射支持数据转换，您可根据实际业务需求进行配置，将源端采集的数据，事先通过数据转换后，以指定格式输入到目标端数据库中。
  转换模式详细操作说明详见4.1 转换模式
  在转换模式中，你可依次配置：来源节点、数据转换、目标节点信息：

  配置节点	说明
  来源节点	配置数据来源 Source 节点信息： 节点名称：自定义输入来源节点名称信息，只允许由数字、字母、下划线、-和.组成；且长度不能超过10。 数据字段：通过自动添加、手动添加等方式添加数据来源字段信息。 配置完成后，单击确认按钮，完成来源节点配置。
  数据转换	单击数据转换右侧添加按钮，选择 SQL 转换方式，配置转换信息和规则： 节点名称：自定义输入来源节点名称信息，只允许由数字、字母、下划线、-和.组成；且长度不能超过10。 SQL 脚本：输入 SQL 脚本转换规则，目前仅支持添加一个转换的 SQL 语句，且不能包括 “;”。 配置完成后，单击确认按钮，完成数据转换节点配置。SQL 脚本示例详见4.1.2 添加转换节点。
  目标节点	配置目标节点 Sink 信息： 节点名称：自定义输入来源节点名称信息，只允许由数字、字母、下划线、-和.组成；且长度不能超过10。 数据字段：通过自动添加、手动添加等方式添加数据目标字段信息。 配置完成后，单击确认按钮，完成目标节点配置。

• 基础模式：

  您可通过以下三种方式操作字段映射关系：

  • 自动添加：单击自动添加按钮，根据两端数据表信息，可以自动填充来源和目标的字段信息。

    说明

    自动添加字段映射时，默认不会映射来源表中的分区键字段。若有需要，您可通过手动添加的方式，将分区键字段的映射配置上。

  • 手动添加：单击手动添加按钮，可以手动编辑来源和目标的字段信息，可以逐个添加。

    说明

    来源端字段信息支持输入数据库函数和常量配置，单击手动添加按钮，在源表字段中输入需添加的值，并选择函数或常量类型，例如：

    • 函数：支持您输入 now()、timestamp()等 ByteHouse CDW 数据库支持的函数。
    • 常量：您可自定义输入常量值，'123'、'${DATE}'、'${hour}' 等，输入值两侧需要加上英文单引号，支持结合平台时间变量与常量说明使用。
  • 移动\删除字段：您也可以根据需要移动字段映射顺序或删除字段。

5 DSL 配置说明 #

ByteHouse_CDW 数据源支持使用脚本模式（DSL）的方式进行配置。
在某些复杂场景下，或当数据源类型暂不支持可视化配置时，您可通过任务脚本的方式，按照统一的 Json 格式，编写 ByteHouse_CDW Reader 和 ByteHouse_CDW Writer 参数脚本代码，来运行数据集成任务。

5.1 进入 DSL 模式 #

进入 DSL 模式操作流程，可详见 MySQL 数据源-4.4.1 进入DSL 模式。

5.2 ByteHouse_CDW 批式读 #

进入 DSL 模式编辑界面后，您可根据实际情况替换相应参数，ByteHouse_CDW 批式读脚本示例如下：

// 变量使用规则如下:
// 1.自定义参数变量: {{}}, 比如{{number}}
// 2.系统时间变量${}, 比如 ${date}、${hour}
// **************************************
{
    "version": "0.2",
    "type": "batch",
    // reader config
    "reader": {
        // [required] datasource type
        "type": "clickhouse" ,
        // [optional] datasource id, set it if you have registered datasource
        "datasource_id": null,
        // [required] user parameter
        "parameter": {
            "clickhouse_type":"bytehouse_cdw",
            "sql_filter":"date = '20230921' ",
            "split_field":"id",
            "password":"*******",
            "db_name":"db_test",
            "vw_name":"dts_test",
            //"user_name":"default",
            "class":"com.bytedance.bitsail.connector.clickhouse.source.ClickhouseSource",
            "jdbc_url":"bytehouse-cn-beijing.volces.com:19000",
            "table_name":"table_name_test",
            "columns": [
                {
                    "upperCaseName":"ID",
                    "name":"id",
                    "type":"Int64"
                },
                {
                    "upperCaseName":"NAME",
                    "name":"name",
                    "type":"String"
                }
            ]
        }
    },
    // writer config
    "writer": {
        ...
    },
    // common config
    "common": {
        ...
    }
}

Reader 参数说明，其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数：

5.3 ByteHouse_CDW 批式写 #

进入 DSL 模式编辑界面后，您可根据实际情况替换相应参数，ByteHouse_CDW 批式写脚本示例如下：

// **************************************
// 变量使用规则如下:
// 1.自定义参数变量: {{}}, 比如{{number}}
// 2.系统时间变量${}, 比如 ${date}、${hour}
// **************************************
{
    // [required] dsl version, suggest to use latest version
    "version": "0.2",
    // [required] execution mode, supoort streaming / batch now
    "type": "batch",
    // reader config
    "reader": {
        ...
    },
    // writer config
    "writer": {
        // [required] datasource type
        "type": "bytehouse_cdw",
        // [optional] datasource id, set it if you have registered datasource
        "datasource_id": {datasource_id},
        // [required] user parameter
        "parameter": {
            "columns": [
                {
                    "name": "id",
                    "type": "String"
                }
            ],
            "ch_partition_type":"String",   
            "shard_num":2,    
            "shard_column":"id",     
            "partition":"date=20240101", 
            "ch_table":"table_test1"
        }
    },
    // common config
    "common": {
        ...
    }
}

批式写参数说明，其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数：

6 高级参数说明 #

• 对于通道任务，读参数需要加上 job.reader. 前缀，写参数需要加上 job.writer. 前缀，如下图所示：

  

• 对于 DSL 任务，读参数请配置到 reader.parameter 下，写参数请配置到 writer.parameter 下，直接输入参数名称和参数值，如："job.writer.loading_mode":"FULL_REFRESH"

6.1 ByteHouse_CDW 批式读 #

读取 ByteHouse_CDW 时，支持以下高级参数，您可根据实际情况进行配置：

6.2 ByteHouse_CDW 批式写 #

批式写入 ByteHouse_CDW 时，支持以下高级参数，您可根据实际情况进行配置：