Hive 常用于存储结构化数据，其底层使用 HDFS 存储数据。全域数据集成（DataSail）提供了基于 HDFS 文件和基于 JDBC 两种方式的数据同步功能：

• 基于 HDFS 文件的数据同步（支持 Hive 读&写）：Hive reader 通过 HMS（Hive Metastore Service）获取到指定 Hive 表的底层存储路径，然后直接读写底层 HDFS 文件，最后再将元信息同步至 HMS。
• 基于 JDBC 的数据同步（仅支持 Hive 读）：Hive reader 通过 JDBC 客户端连接 HiveServer2 服务进行数据读取。

1 支持的版本

• 火山引擎 E-MapReduce（EMR）Hive、EMR Serverless Hive 数据源。
• 连接串形式支持 Hive 3.1.2 版本。

2 使用前提

1. 子账号新建数据源时，需要有项目的管理员角色，方可以进行新建数据源操作。各角色对应权限说明，详见：管理成员
2. 访问火山引擎 EMR Serverless Hive 数据源，需先在 EMR Serverless Spark 控制台中创建相关队列资源。详见队列管理。

   说明

   EMR Serverless Spark 目前为白名单形式使用，您可通过提工单方式，咨询 EMR 支持人员，进行后台开通后使用。

3. Hive 数据源配置选择 EMR Hive 接入方式时，您需要填写 EMR 集群信息、数据库相关信息，需提前创建好 EMR Hadoop 集群类型。详见创建集群。
4. 访问火山引擎 EMR-Hive 数据源，需先在项目控制台 > 服务绑定 > 引擎绑定中，绑定相应 EMR-Hadoop 集群。详见创建项目。
5. EMR Hadoop 集群使用的 VPC 需和独享集成资源组中的 VPC 保持一致：
   • 其 VPC 下的子网和安全组也尽可能保持一致。
   • 若 VPC 不一致时，则需要在 Hadoop 集群的安全组上，在入方向规则处，添加独享集成资源组子网的 IP 网段：
     1. 在 EMR Hadoop 集群详情界面，进入集群所在的安全组，并添加入方向规则。
        
     2. 在弹窗中，填写独享集成资源组所在 VPC 的 CIDR 网段信息：
        

3 使用限制

• 离线读：
  • 基于 HDFS 文件的离线读需指定分区字段的分区内容，单次执行仅支持读取单分区；
  • HDFS 的读取方式，仅支持 EMR Hive 的数据源接入方式，且 EMR 集群内 Hive 组件版本需为 3.X；
  • 基于 JDBC 的离线读，通过 SQL 读取数据，您需要配置好有效的 SQL 语句。
• 离线写：
  • 目前仅支持基于 HDFS 文件的离线写入；
  • 单次执行只能写入单个分区。
• 实时写：
  • 虽然数据是近实时写入 Hive，但是由于 Hive 分区可见性限制，数据写入后默认会在 T+1 时间才能在 Hive 中查询到。例如：天级分区 Hive 表，任务启动后第二天可查询；小时级 Hive 表在第二个小时可查询。
    如果您对此功能原理感兴趣，可以参考下述文章：字节跳动基于Flink的MQ-Hive实时数据集成_大数据_字节跳动技术团队_InfoQ精选文章
  • 如要您的业务场景需要实时查看到数据，则您需在高级参数中配置以下两个参数：
    • 预创建分区：job.writer.partition_strategy=partition_last；
    • 每分钟刷新数据到 Hive：job.common.checkpoint_interval = 60000
      详见6 高级参数可选配置

4 支持的字段类型

Hive reader 和 Writer 会通过 HiveServer2 拿到目标 Hive 表的元信息，从而获取到各个字段的类型，自动完成任务的 Schema 配置，用户只需单击自动添加即可完成 Schema 配置。

5 数据同步任务开发

5.1 数据源注册

新建数据源操作详见配置数据源，以下为您介绍不同接入方式的 Hive 数据源配置相关信息：

1. EMR-Hive 数据源

   注意

   • EMR Hadoop 集群所在的 VPC 需和独享集成资源组中的 VPC 保持一致，确保网络能互相访问。不同 VPC 情况时，详见“2 使用前提”相关说明。
   • DataSail 会用 root 账号来读写 EMR Hive 表数据，因此数据源配置中的用户名和密码信息可忽略不填。

   其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数。

   参数	说明
   基本配置
   *数据源类型	Hive
   *接入方式	EMR Hive
   *数据源名称	数据源的名称，可自行设置，仅支持中文，英文，数字，“_”，100个字符以内。
   参数配置
   *EMR 集群 ID	下拉选择已创建成功的 EMR Hadoop 集群名称，若还未创建相关集群，您可前往 EMR-控制台创建。详见创建集群。
   *数据库名	下拉选择集群环境中，已创建的 Hive 数据库名称。
   Hive 版本号	依据已选择的 EMR Hadoop 集群，自动展现集群中包含的 Hive 版本。
   用户名	有权限访问数据库的用户名信息。
   密码	输入用户名对应的密码信息。
   扩展配置	您可输入 HDFS 配置的可选扩展，例如 Hadoop HA 的配置信息。

2. EMR Serverless Hive 数据源
   其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数。

   参数	说明
   基本配置
   *数据源类型	Hive
   *接入方式	EMR Serverless Hive
   *数据源名称	数据源的名称，可自行设置，仅支持中文，英文，数字，“_”，100个字符以内。
   参数配置
   *Hive 版本号	默认仅支持 Hive 3.1.3。
   *Accesskey ID	进入火山引擎，访问控制台的密钥管理界面，复制 Accesskey ID 填写到此处。如果为子用户，请联系主账号获取密钥。 注意 填写的 AK\SK 信息，需拥有以下相应的权限： 需要有对应 Hive 库表的读写权限，主账号或数据库 Owner 可前往 LAS Formation 控制台进行授权操作。详见 LAS Formation 权限管理。 需要有 LAS Formation 中设置的底层存储路径 TOS Bucket 桶读写权限。存储桶权限策略操作详见桶策略模板及参数说明。
   *Secret Access Key	与 AccessKey ID 配套使用，类似登录密码，用于签名您的访问参数，以防被篡改。
   *数据库名	输入上方 AK/SK 信息后，可在此下拉选择 EMR Serverless Spark 环境中，已创建的 Hive 数据库名称。
   扩展配置	您可输入 HDFS 配置的可选扩展，例如 Hadoop HA 的配置信息。

3. 连接串形式 Hive 数据源
   用连接串形式配置 Hive 数据源，其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数。

   参数	说明
   基本配置
   *数据源类型	Hive
   *接入方式	连接串
   *数据源名称	数据源的名称，可自行设置，仅支持中文，英文，数字，“_”，100个字符以内。
   参数配置
   *认证方式	访问 Hive 数据源时，支持使用 Kerberos 认证的身份认证方式；若访问时无需认证，则认证方式选择无。 其中 Kerberos 认证需要您将 keyTab 文件、conf 文件上传至数据源配置界面及填写 principal 认证相关信息。
   *数据库名	输入已创建的 Hive 数据库名称。
   用户名	有权限访问数据库的用户名信息。
   密码	输入用户名对应的密码信息。
   *Hive 版本号	支持下拉选择 Hive 3.1.2 的版本。
   *MetaStore URI	输入 Hive 元数据存储的 MetaStore uri 地址，以 thrift://ip1:port,thrift://ip2:port 的形式，多个地址可用英文“,”分隔。
   *Hive JDBC URL	输入 Hive JDBC URL 链接串地址信息： 无 kerberos 认证时，需填写：jdbc:hive2://host:port/database 有 kerberos 认证时，需补充填写认证信息： jdbc:hive2://host:port/database;principal= your principal
   *keyTab文件	认证方式选择 kerberos 认证时，需要将 keyTab 配置文件上传。
   *conf文件	认证方式选择 kerberos 认证时，需要将 conf 配置文件上传。
   *principal	认证方式为 Kerberos 认证时，需输入用于认证的 Principal 身份信息。
   defaultFS	填写 Hadoop HDFS 文件的 namenode 节点地址，以 hdfs:// ip:port 的形式填写。
   扩展配置	填写必要的 HDFS 或 Hive 配置，默认情况无需额外配置，填写 <configuration></configuration>即可。 自建的高可用集群您可参考以下扩展属性配置示例： <configuration> <property> <name>dfs.nameservices</name> <value>test_name</value> </property> <property> <name>dfs.ha.namenodes.test_name</name> <value>namenode1,namenode2</value> </property> <property> <name>dfs.namenode.rpc-address.namenode1</name> <value>xxx.xx.x.xx:port</value> </property> <property> <name>dfs.namenode.rpc-address.namenode2</name> <value>xxx.xx.x.xx:port</value> </property> <property> <name>dfs.client.failover.proxy.provider.test_name</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property> </configuration> 说明 以上配置示例中，nameservices 和 rpc-address 信息，您需根据实际集群信息进行替换。 若是火山引擎 EMR HDFS 高可用集群方式接入时，无需配置额外高可用相关的扩展属性。

5.2 新建离线任务

Hive 数据源测试连通性成功后，进入到数据开发界面，开始新建 Hive 相关通道任务。新建任务方式详见离线数据同步、流式数据同步。

5.3 可视化配置说明

任务创建成功后，您可根据实际场景，配置 Hive 离线读或 Hive 离线写等通道任务。

5.3.1 可视化配置 Hive 离线读

数据来源选择 Hive，并完成以下相关参数配置：
其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数。

5.3.2 可视化配置 Hive 离线写

数据目标类型选择 Hive，并完成以下相关参数配置：
其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数。

5.3.3 可视化配置 Hive 实时写

流式集成任务实时写入 Hive 数据源，数据目标类型选择 Hive，并完成以下相关参数配置：
其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数。

5.3.4 字段映射

数据来源和目标端配置完成后，需要指定来源和目标端的字段映射关系，根据字段映射关系，数据集成任务将源端字段中的数据，写入到目标端对应字段中。
字段映射支持选择基础模式和转换模式配置映射：

• 转换模式：
  字段映射支持数据转换，您可根据实际业务需求进行配置，将源端采集的数据，事先通过数据转换后，以指定格式输入到目标端数据库中。
  转换模式详细操作说明详见4.1 转换模式
  在转换模式中，你可依次配置：来源节点、数据转换、目标节点信息：

  配置节点	说明
  来源节点	配置数据来源 Source 节点信息： 节点名称：自定义输入来源节点名称信息，只允许由数字、字母、下划线、-和.组成；且长度不能超过10。 数据字段：通过自动添加、手动添加等方式添加数据来源字段信息。 配置完成后，单击确认按钮，完成来源节点配置。
  数据转换	单击数据转换右侧添加按钮，选择 SQL 转换方式，配置转换信息和规则： 节点名称：自定义输入来源节点名称信息，只允许由数字、字母、下划线、-和.组成；且长度不能超过10。 SQL 脚本：输入 SQL 脚本转换规则，目前仅支持添加一个转换的 SQL 语句，且不能包括 “;”。 配置完成后，单击确认按钮，完成数据转换节点配置。SQL 脚本示例详见4.1.2 添加转换节点。
  目标节点	配置目标节点 Sink 信息： 节点名称：自定义输入来源节点名称信息，只允许由数字、字母、下划线、-和.组成；且长度不能超过10。 数据字段：通过自动添加、手动添加等方式添加数据目标字段信息。 配置完成后，单击确认按钮，完成目标节点配置。

• 基础模式：

  您可通过以下三种方式操作字段映射关系：

  • 自动添加：单击自动添加按钮，根据两端数据表信息，可以自动填充来源和目标的字段信息。
  • 手动添加：单击手动添加按钮，可以手动编辑来源和目标的字段信息，可以逐个添加。

    说明

    来源端字段信息支持输入数据库函数和常量配置，单击手动添加按钮，在源表字段中输入需添加的值，并选择函数或常量类型，例如：

    • 函数：JDBC 方式读取时，支持您输入 now()、current_timestamp()、unix_timestamp() 等 Hive 数据库支持的函数。
    • 常量：JDBC 方式读取时，您可自定义输入常量值，'123'、'${DATE+1}'、'${hour}' 等，输入值两侧需要加上英文单引号，支持结合时间变量参数使用。
    • 分区字段：手动添加时，支持下拉选择源表中的分区字段来配置映射关系。
  • 移动\删除字段：您也可以根据需要移动字段映射顺序或删除字段。

5.4 DSL 配置说明

Hive 数据源支持使用脚本模式（DSL）的方式进行配置。
在某些复杂场景下，或当数据源类型暂不支持可视化配置时，您可通过任务脚本的方式，按照统一的 Json 格式，编写 Hive Reader 和 Hive Writer 参数脚本代码，来运行数据集成任务。

5.4.1 进入 DSL 模式

进入 DSL 模式操作流程，可详见 MySQL 数据源-4.4.1 进入DSL 模式。

5.4.2 Hive 离线读

根据实际情况替换 Hive 离线读相应参数，Hive 离线读脚本示例如下：

"reader": {
        // [required] datasource type
        "type": "hive",
        // [optional] datasource id, set it if you have registered datasource
        "datasource_id": 65xxx5,
        // [required] user parameter
        "parameter": {
          "partition": "date=20240304/hour=22",
          "columns": [{
                        "upperCaseName": "ID",
                        "name": "id",
                        "type": "int"
                },
                {
                        "upperCaseName": "NAME",
                        "name": "name",
                        "type": "string"
                }
          ],
          "table_name": "mysql2hive_testp",
          "readerMode": "hdfs"        
        }
    }

Reader 参数说明，其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数：

5.4.3 Hive 离线写

根据实际情况替换 Hive 离线写相应参数，Hive 离线写脚本示例如下：

// writer config
    "writer": {
        // [required] datasource type
        "type": "hive",
        // [optional] datasource id, set it if you have registered datasource
        "datasource_id": 65xxx5,
        // [required] user parameter
         "parameter": {
                "partition": "date=${date},hour=${hour}",
                "table_name": "dts_db_testxxx",
                "columns": [{
                                "upperCaseName": "BOOBLE",
                                "name": "booble",
                                "type": "boolean"
                        },
                        {
                                "upperCaseName": "ISODATE",
                                "name": "isodate",
                                "type": "date"
                        }
                ],
                "partitions": [{
                        "name": "date",
                        "type": "string",
                        "value": "20240122"
                }, {
                        "name": "hour",
                        "type": "string",
                        "value": "16"
                }],
                "writeMode": "overwrite"
        }
    }

Writer 参数说明，其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数：

5.4.4 Hive 实时写

根据实际情况替换 Hive 实时写相应参数，Hive 实时写脚本示例如下：

// writer config
    "writer": {
        // [required] datasource type
        "type": "hive",
        // [optional] datasource id, set it if you have registered datasource
        "datasource_id": 65xxx5,
        // [required] user parameter
         "parameter": {
                "table_name": "kafka2hive_json_fq_not_delete",
                "enable_event_time": "true",
                "proto": {
                        "descriptor": "CsEBCg9QYk1lc3NhZ2UucHJvdG8SDHRlc3RfbWVzc2FnZSKfAQoJUGJNZXNzYWdlEg4KAmlkGAEgAigDUgJpZBISCgRuYW1lGAIgAigJUgRuYW1lEhgKB2FkZHJlc3MYAyACKAlSB2FkZHJlc3MSHwoLY3JlYXRlX3RpbWUYBCABKANSCmNyZWF0ZVRpbWUSHQoKZXZlbnRfdGltZRgFIAEoA1IJZXZlbnRUaW1lEhQKBXByaWNlGAYgAigBUgVwcmljZQ==",
                        "class_name": "PbMessage"
                },
                "hdfs": {
                        "dump_type": "hdfs.dump_type.pb"
                },
                "partition_infos": "[{\"name\":\"date\",\"type\":\"TIME\"},{\"name\":\"hour\",\"type\":\"TIME\"}]",
                "source_schema": "[{\"name\":\"id\",\"type\":\"bigint\"},{\"name\":\"create_time\",\"type\":\"bigint\"},{\"name\":\"price\",\"type\":\"double\"}]",
                "sink_schema": "[{\"name\":\"id\",\"type\":\"bigint\"},{\"name\":\"create_time\",\"type\":\"bigint\"},{\"name\":\"price\",\"type\":\"float\"}]",
                "event_time_fields": "create_time"
        }
    }

6 高级参数可选配置

6.1 高级参数示例

高级参数配置时，需要在对应参数名称前加上：job.common. 前缀（通用参数）、job.writer. 前缀（写入参数），如下图所示：

6.2 EMR 集群开启 Proton 服务后的相关参数

若数据源接入方式为 EMR Hive 数据源时，当 EMR 集群开启 Proton 服务，且集群中没有配置 TOS 认证相关的参数配置，则您需在任务中添加以下高级参数：

• 离线写通道：
  在高级参数中增加 TOS 认证配置

  

  参数说明：

  高级参数 Key	高级参数 Value
  job.writer.extra_config	{"fs.tos.access-key-id":"your access key","fs.tos.secret-access-key":"your secret key"}

• 实时写通道：
  在高级参数中增加 TOS 认证配置

  

  参数说明：

  高级参数key	高级参数value
  job.writer.extra_metastore_properties	{"fs.tos.access-key-id":"your access key","fs.tos.secret-access-key":"your secret key"}