批式导入

概述

ByteHouse 支持外置计算引擎的批式导入。

相比通过引擎进行Insert数据，批式导入功能具有以下特点：

• 支持多线程并行导入，导入大文件的速度更快。

• 导入时直接写 Part 文件，不经过引擎；且通过 Spark/Flink，采用外部计算资源导入，对查询性能的影响更低。

• 完成完整的 Part 文件后挂载，不会出现 Insert 导致的 Part 过多，合并慢的情况。

支持数据源

• 对象存储（Object Storage）：从标准对象存储服务导入文件数据，包括火山引擎的 TOS，阿里的 OSS，AWS 的 S3 服务，或自建的 Minio 等。支持的文件类型包括：csv，json，Parquet。
• Hive：从 Hive 表导入数据。
• ClickHouse：从 ClickHouse/ByteHouse 表导入数据。
• LAS：支持从火山引擎湖仓一体分析服务 LAS 导入数据。

操作详情

新增数据源

数据导入 -> 新建数据源 -> 源类型选择（对象存储/Hive/ClickHouse/LAS）；

按照对应数据源的配置表单，填写数据源连接信息。

创建任务

前置准备：

• 建完目标表。

• 建完数据源。

创建步骤：

1. 数据导入 -> 新建导入任务

2. 填写作业名称，描述。请注意作业名称不可与其他作业名重名。

3. 根据源类型，填写相关的路径或库表信息。

4. 选择目标数据表（需要目标数据表已经建完）

5. 进行数据源中的列和表中的列的匹配。

此处，部分数据源（如对象存储）可通过选择 “数据映射”，可以从之前选择的 bucket/path/ 中选择一个 Schema 描述文件，提取描述文件的信息，自动生成源列。

6. 选择冲突解决方式。此处需要补充解释分区的定义：

分区 Partition：分区为 ClickHouse 中表内的逻辑单元，由分区键（Partition Key）作为分隔依据。使用离线导入功能，最小导入单位为一个完整分区，不是行（Row）。因此，2 次导入中若出现分区字段值重复，就会出现分区冲突。例如，第一次导入产生了 '2022-2-2' 分区，第二次导入中部分行的分区键值也是 '2022-2-2'，导入过程中生成了新的 '2022-2-2' 分区，因此冲突。

可以选择以下四种模式处理分区冲突：

• 增量合并（推荐）：新导入的分区数据合并入旧分区。
• 覆盖分区：新分区覆盖旧的同名分区。
• 忽略冲突：新分区如果和旧分区重名，则不导入。
• 后续处理：导入后如果出现分区冲突（任务状态变为 “Confilcted”），再依据新老分区的行数大小，选择保留新分区还是旧分区。

7. 选择“提交”，完成创建。

开始导入

1. 在“数据导入”模块下找到之前创建的导入任务，选择“开始”。

2. 开始导入时，不同数据源有不同的导入参数需要填写：

   • 对于对象存储，需要选择文件。
   • 对于 Hive，需要选择导入的数据表与导入并行度（默认为1，并行度越高导入速度越快）。
   • 对于 ClickHouse，需要输入待导入数据的 select query。

   说明

   对于文件系统类数据源，有以下限制：

   • 导入文件数量上限为：10个。
   • 单个文件的上限容量为：2 GB。

任务跟踪

在开启任务后，会生成对应的执行记录。通过导入任务，可查看该任务所有的执行记录与执行状态。

• 若执行状态是“已停止”，表明当前任务已经成功；
• 若执行状态是“失败”，则可以鼠标 Hover “失败”，找到 “查看更多”，查看出错记录。
• 若执行状态是“冲突”，可选择对应任务的“恢复”操作，进入“处理冲突”步骤。

处理冲突

对于每个冲突，可以选择以下两种处理类型：

• 覆盖，保留新分区，老分区的数据完全丢弃。

• 不覆盖，保留老分区，丢弃新导入的分区。

冲突处理完成后，导入任务即会完成。进入“已停止”状态，即代表导入成功。