全域数据集成 DataSail Hudi 数据源为您提供读取和写入 EMR Hudi 的双向通道能力。本文为您介绍 DataSail 的 Hudi 数据同步的能力支持情况。

1 支持的 Hudi 版本 #

支持半托管火山引擎 E-MapReduce（EMR） Hudi 0.12.x 版本。

2 使用限制 #

1. 支持离线读写、流式写入、离线整库、实时整库解决方案。
2. 子账号新建数据源时，需要有项目的管理员角色，方可以进行新建数据源操作。各角色对应权限说明，详见：管理成员
3. 为确保同步任务使用的独享数据集成资源组具有目标 EMR Hudi 节点的网络访问能力。建议 EMR 集群使用的 VPC 需和独享集成资源组中的 VPC 保持一致。
   若确实无法保持一致时，可参考独享集成资源组和 EMR Hudi 节点网络打通方案，详见 网络连通解决方案。

3 支持的字段类型 #

Hudi Reader 和 Writer 会通过 HiveServer2 拿到目标 Hudi 表的元信息，从而获取到各个字段的类型，自动完成任务的 Schema 配置，在配置任务字段映射时，您只需单击自动添加即可完成 Schema 配置。
支持的字段类型如下：

4 数据同步任务开发 #

4.1 数据源注册 #

新建数据源操作详见配置数据源，以下为您介绍 EMR Hudi 数据源配置相关信息。
其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数。

4.2 新建离线任务 #

Hudi 数据源测试连通性成功后，进入到数据开发界面，开始新建 Hudi 相关通道任务。新建任务方式详见离线数据同步。

4.3 可视化配置说明 #

任务创建成功后，您可根据实际场景，配置 Hudi 离线读或 Hudi 离线写等通道任务。

4.3.1 Hudi 批式读

数据来源选择 Hudi，并完成以下相关参数配置：
其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数。

4.3.2 Hudi 批式写

数据目标类型选择 Hudi，并完成以下相关参数配置：
其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数。

4.3.3 Hudi 流式写

数据目标类型选择 Hudi，并完成以下相关参数配置：
其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数。

4.3.4 创建 Hudi 表

如果您需要写入的 Hudi 表不存在时，您需要预先进行创建，您可以通过 Hive Shell 创建。详见 Hudi 基础使用。

• 创建 COW 表

  注意

  • 分区字段不能出现在业务字段中，例如以下示例中的 your_partition_field_1 不能出现在 your_business_field_1、your_business_field_2、... 字段中。如果您使用非分区表，则 PARTITIONED BY () 部分无需填写。
  • 如果您使用 append 模式写入，则 TBLPROPERTIES() 部分无需填写。

  CREATE EXTERNAL TABLE `your_cow_hudi_table`(
    `_hoodie_commit_time` string,
    `_hoodie_commit_seqno` string,
    `_hoodie_record_key` string,
    `_hoodie_partition_path` string,
    `_hoodie_file_name` string,
    `your_business_field_1` bigint,
    `your_business_field_2` bigint,
    ...)
  PARTITIONED BY (
    `your_partition_field_1` bigint,
    `your_partition_field_2` bigint,
    ...)
  ROW FORMAT SERDE
    'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'
  STORED AS INPUTFORMAT 
    'org.apache.hudi.hadoop.HoodieParquetInputFormat'
  OUTPUTFORMAT
    'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat'
  LOCATION
    'hdfs|tos://path/to/your/table'
  TBLPROPERTIES (
    'path' = 'hdfs|tos://path/to/your/table',
    'hoodie.datasource.write.recordkey.field'='your_pk_1,your_pk2,...',
    'connector'='hudi'
    );
  

• 创建 MOR 表

  说明

  MOR 表与 COW 相比区别在于 INPUTFORMAT 不同，其他均相同。

  CREATE EXTERNAL TABLE `your_mor_hudi_table`(
    `_hoodie_commit_time` string,
    `_hoodie_commit_seqno` string,
    `_hoodie_record_key` string,
    `_hoodie_partition_path` string,
    `_hoodie_file_name` string,
    `your_business_field_1` bigint,
    `your_business_field_2` bigint,
    ...)
  PARTITIONED BY (
    `your_partition_field_1` bigint,
    `your_partition_field_2` bigint,
    ...)
  ROW FORMAT SERDE
    'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'
  STORED AS INPUTFORMAT 
    'org.apache.hudi.hadoop.realtime.HoodieParquetRealtimeInputFormat'
  OUTPUTFORMAT
    'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat'
  LOCATION
    'hdfs|tos://path/to/your/table'
  TBLPROPERTIES (
    'path' = 'hdfs|tos://path/to/your/table',
    'hoodie.datasource.write.recordkey.field'='your_pk_1,your_pk_2,...',
    'connector'='hudi'
    );
  

4.4.5 字段映射

数据来源和目标端配置完成后，需要指定来源和目标端的字段映射关系，根据字段映射关系，数据集成任务将源端字段中的数据，写入到目标端对应字段中。
字段映射支持选择基础模式和转换模式配置映射：

• 转换模式：
  字段映射支持数据转换，您可根据实际业务需求进行配置，将源端采集的数据，事先通过数据转换后，以指定格式输入到目标端数据库中。
  转换模式详细操作说明详见4.1 转换模式
  在转换模式中，你可依次配置：来源节点、数据转换、目标节点信息：

  配置节点	说明
  来源节点	配置数据来源 Source 节点信息： 节点名称：自定义输入来源节点名称信息，只允许由数字、字母、下划线、-和.组成；且长度不能超过10。 数据字段：通过自动添加、手动添加等方式添加数据来源字段信息。 配置完成后，单击确认按钮，完成来源节点配置。
  数据转换	单击数据转换右侧添加按钮，选择 SQL 转换方式，配置转换信息和规则： 节点名称：自定义输入来源节点名称信息，只允许由数字、字母、下划线、-和.组成；且长度不能超过10。 SQL 脚本：输入 SQL 脚本转换规则，目前仅支持添加一个转换的 SQL 语句，且不能包括 “;”。 配置完成后，单击确认按钮，完成数据转换节点配置。SQL 脚本示例详见4.1.2 添加转换节点。
  目标节点	配置目标节点 Sink 信息： 节点名称：自定义输入来源节点名称信息，只允许由数字、字母、下划线、-和.组成；且长度不能超过10。 数据字段：通过自动添加、手动添加等方式添加数据目标字段信息。 配置完成后，单击确认按钮，完成目标节点配置。

• 基础模式：

  您可通过以下三种方式操作字段映射关系：

  • 自动添加：单击自动添加按钮，根据两端数据表信息，可以自动填充来源和目标的字段信息。
  • 手动添加：单击手动添加按钮，可以手动编辑来源和目标的字段信息，可以逐个添加。
  • 移动\删除字段：您也可以根据需要移动字段映射顺序或删除字段。

5 高级参数说明 #

对于可视化通道任务，高级参数可在任务开发界面：任务运行参数 > 自定义参数设置中填写，读参数需要加上 job.reader. ，写参数需要加上job.writer.前缀，如图所示：

5.1 Hudi 批式读 #

5.2 Hudi 批式写 #

5.3 Hudi 流式写 #

6 数据同步解决方案 #

DataSail 支持 MySQL 到 Hudi 的离线整库和实时整库解决方案，并支持自动建表。

6.1 高级参数说明 #

解决方案中，集成高级参数支持上文5.2 Hudi 批式写中的高级参数，对同步的所有表生效。如果您需要对某些 Hudi 表进行特殊设置，您可以通过高级参数 job.writer.table-properties进行设置，其值是一个 json 串，示例如下：

[{"table_pattern":"db_hudi.*.user_.*","table.type":"MERGE_ON_READ","hoodie.datasource.write.partitionpath.field":"item_id"}]

示例参数说明：

• table_pattern：正则表达式，匹配需要设置高级参数的 Hudi 表；
• "key": "value"，设置 Hudi 表参数；
• 可以配置多个表模式匹配，例如[{"table_pattern": "db.table1.*",...}, {"table_pattern": "db.table2.*",...}]

以上示例配置的含义：对于匹配 "db_hudi.*.user_.*" 的 Hudi 表，指定表类型 table.type 为 MERGE_ON_READ，分区字段 hoodie.datasource.write.partitionpath.field 为 item_id。