配置 Hive 数据源

Hive 常用于存储结构化数据，其底层使用 HDFS 存储数据。全域数据集成（DataSail）提供了基于 HDFS 文件和基于 JDBC 两种方式的数据同步功能：

• 基于 HDFS 文件的数据同步（支持 Hive 读&写）：Hive reader 通过 HMS（Hive Metastore Service）获取到指定 Hive 表的底层存储路径，然后直接读写底层 HDFS 文件，最后再将元信息同步至 HMS。
• 基于 JDBC 的数据同步（仅支持 Hive 读）：Hive reader 通过 JDBC 客户端连接 HiveServer2 服务进行数据读取。

1 支持的版本

• 火山引擎 E-MapReduce（EMR）Hive 数据源。
• 连接串形式支持 Hive 3.1 版本。

2 使用前提

1. 子账号新建数据源时，需要有项目的管理员角色，方可以进行新建数据源操作。各角色对应权限说明，详见：管理成员
2. 访问 EMR-Hive 数据源，需先在项目控制台 > 服务绑定 > 引擎绑定中，绑定相应 EMR-Hadoop 集群。详见创建项目。
3. Hive 数据源配置选择 EMR Hive 接入方式时，您需要填写 EMR 集群信息、数据库相关信息，需提前创建好 EMR Hadoop 集群类型。详见创建集群。
4. EMR Hadoop 集群使用的 VPC 需和独享集成资源组中的 VPC 保持一致：
   • 其 VPC 下的子网和安全组也尽可能保持一致。
   • 若 VPC 不一致时，则需要在 Hadoop 集群的安全组上，在入方向规则处，添加独享集成资源组子网的 IP 网段：
     1. 在 EMR Hadoop 集群详情界面，进入集群所在的安全组，并添加入方向规则。
        
     2. 在弹窗中，填写独享集成资源组子网的 IP 网段：
        

3 使用限制

• 离线读：
  • 基于 HDFS 文件的离线读需指定分区字段的分区内容，单次执行仅支持读取单分区；
  • HDFS 的读取方式，仅支持 EMR Hive 的数据源接入方式，且 EMR 集群内 Hive 组件版本需为 3.X；
  • 基于 JDBC 的离线读，通过 SQL 读取数据，您需要配置好有效的 SQL 语句。
• 离线写：
  • 目前仅支持基于 HDFS 文件的离线写入；
  • 单次执行只能写入单个分区。
• 实时写：
  虽然数据是近实时写入 Hive，但是由于 Hive 分区可见性限制，数据写入后在 T+1 时间才能在 Hive 中查询到。例如：天级分区 Hive 表，任务启动后第二天可查询；小时级 Hive 表在第二个小时可查询。
  如果您对此功能原理感兴趣，可以参考下述文章：字节跳动基于Flink的MQ-Hive实时数据集成_大数据_字节跳动技术团队_InfoQ精选文章

4 支持的字段类型

Hive reader 和 Writer 会通过 HiveServer2 拿到目标 Hive 表的元信息，从而获取到各个字段的类型，自动完成任务的 Schema 配置，用户只需单击自动添加即可完成 Schema 配置。

5 数据同步任务开发

5.1 数据源注册

新建数据源操作详见配置数据源，以下为您介绍不同接入方式的 Hive 数据源配置相关信息：

1. EMR-Hive 数据源

   注意

   • EMR Hadoop 集群所在的 VPC 需和独享集成资源组中的 VPC 保持一致，确保网络能互相访问。不同 VPC 情况时，详见“2 使用前提”相关说明。
   • DataSail 会用 root 账号来读写 EMR Hive 表数据，因此数据源配置中的用户名和密码信息可忽略不填。

   其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数。

   参数	说明
   基本配置
   *数据源类型	Hive
   *接入方式	EMR Hive
   *数据源名称	数据源的名称，可自行设置，仅支持中文，英文，数字，“_”，100个字符以内。
   参数配置
   *EMR 集群 ID	下拉选择已创建成功的 EMR Hadoop 集群名称，若还未创建相关集群，您可前往 EMR-控制台创建。详见创建集群。
   *数据库名	下拉选择集群环境中，已创建的 Hive 数据库名称。
   Hive 版本号	依据已选择的 EMR Hadoop 集群，自动展现集群中包含的 Hive 版本。
   用户名	有权限访问数据库的用户名信息。
   密码	输入用户名对应的密码信息。
   扩展配置	您可输入 HDFS 配置的可选扩展，例如 Hadoop HA 的配置信息。

2. 连接串形式 Hive 数据源
   用连接串形式配置 Hive 数据源，其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数。

   参数	说明
   基本配置
   *数据源类型	Hive
   *接入方式	连接串
   *数据源名称	数据源的名称，可自行设置，仅支持中文，英文，数字，“_”，100个字符以内。
   参数配置
   *认证方式	访问 Hive 数据源时，支持使用 Kerberos 认证的身份认证方式；若访问时无需认证，则认证方式选择无。 其中 Kerberos 认证需要您将 keyTab 文件、conf 文件上传至数据源配置界面及填写 principal 认证相关信息。
   *数据库名	输入已创建的 Hive 数据库名称。
   用户名	有权限访问数据库的用户名信息。
   密码	输入用户名对应的密码信息。
   *Hive 版本号	支持下拉选择 Hive 3.1.2 的版本。
   *MetaStore URI	输入 Hive 元数据存储的 MetaStore uri 地址，以 thrift://ip1:port,thrift://ip2:port 的形式，多个地址可用英文“,”分隔。
   *Hive JDBC URL	输入 Hive JDBC URL 链接串地址信息： 无 kerberos 认证时，需填写：jdbc:hive2://host:port/database 有 kerberos 认证时，需补充填写认证信息： jdbc:hive2://host:port/database;principal= your principal
   *keyTab文件	认证方式选择 kerberos 认证时，需要将 keyTab 配置文件上传。
   *conf文件	认证方式选择 kerberos 认证时，需要将 conf 配置文件上传。
   *principal	认证方式为 Kerberos 认证时，需输入用于认证的 Principal 身份信息。
   defaultFS	填写 Hadoop HDFS 文件的 namenode 节点地址，以 hdfs:// ip:port 的形式填写。
   扩展配置	填写必要的 HDFS 或 Hive 配置，默认情况无需额外配置，填写 <configuration></configuration>即可。 自建的高可用集群您可参考以下扩展属性配置示例： <configuration> <property> <name>dfs.nameservices</name> <value>test_name</value> </property> <property> <name>dfs.ha.namenodes.test_name</name> <value>namenode1,namenode2</value> </property> <property> <name>dfs.namenode.rpc-address.namenode1</name> <value>xxx.xx.x.xx:port</value> </property> <property> <name>dfs.namenode.rpc-address.namenode2</name> <value>xxx.xx.x.xx:port</value> </property> <property> <name>dfs.client.failover.proxy.provider.test_name</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property> </configuration> 说明 以上配置示例中，nameservices 和 rpc-address 信息，您需根据实际集群信息进行替换。 若是火山引擎 EMR HDFS 高可用集群方式接入时，无需配置额外高可用相关的扩展属性。

5.2 新建离线任务

Hive 数据源测试连通性成功后，进入到数据开发界面，开始新建 Hive 相关通道任务。新建任务方式详见离线数据同步、流式数据同步。
任务创建成功后，您可根据实际场景，配置 Hive 离线读或 Hive 离线写等通道任务。

5.3 可视化配置 Hive 离线读

数据来源选择 Hive，并完成以下相关参数配置：
其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数。

5.4 可视化配置 Hive 离线写

数据目标类型选择 Hive，并完成以下相关参数配置：
其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数。

5.5 可视化配置 Hive 实时写

流式集成任务实时写入 Hive 数据源，数据目标类型选择 Hive，并完成以下相关参数配置：
其中参数名称前带 * 的为必填参数，名称前未带 * 的为可选填参数。

5.6 字段映射

数据来源和目标端配置完成后，需要指定来源和目标端的字段映射关系，根据字段映射关系，数据集成任务将源端字段中的数据，写入到目标端对应字段中。
您可通过以下三种方式操作字段映射关系：

• 自动添加：单击自动添加按钮，根据两端数据表信息，可以自动填充来源和目标的字段信息。
• 手动添加：单击手动添加按钮，可以手动编辑来源和目标的字段信息，可以逐个添加。

  说明

  来源端字段信息支持输入数据库函数和常量配置，单击手动添加按钮，在源表字段中输入需添加的值，并选择函数或常量类型，例如：

  • 函数：支持您输入 now()、current_timestamp()、unix_timestamp() 等 Hive 数据库支持的函数。
  • 常量：您可自定义输入常量值，'123'、'${DATE+1}'、'${hour}' 等，输入值两侧需要加上英文单引号，支持结合时间变量参数使用。
• 移动\删除字段：您也可以根据需要移动字段映射顺序或删除字段。

6 高级参数可选配置

6.1 Hive 实时写

6.2 EMR 集群开启 Proton 服务后的相关参数

若数据源接入方式为 EMR Hive 数据源时，当 EMR 集群开启 Proton 服务，且集群中没有配置 TOS 认证相关的参数配置，则您需在任务中添加以下高级参数：

• 离线写通道：
  在高级参数中增加 TOS 认证配置

  

  参数说明：

  高级参数 Key	高级参数 Value
  job.writer.extra_config	{"fs.tos.access-key-id":"your access key","fs.tos.secret-access-key":"your secret key"}

• 实时写通道：
  在高级参数中增加 TOS 认证配置

  

  参数说明：

  高级参数key	高级参数value
  job.writer.extra_metastore_properties	{"fs.tos.access-key-id":"your access key","fs.tos.secret-access-key":"your secret key"}