You need to enable JavaScript to run this app.
导航

配置 Hive 数据源

最近更新时间2023.11.24 14:46:20

首次发布时间2022.09.15 17:46:56

Hive 常用于存储结构化数据,其底层使用 HDFS 存储数据。全域数据集成(DataSail)提供了基于 HDFS 文件和基于 JDBC 两种方式的数据同步功能:

  • 基于 HDFS 文件的数据同步(支持 Hive 读&写):Hive reader 通过 HMS(Hive Metastore Service)获取到指定 Hive 表的底层存储路径,然后直接读写底层 HDFS 文件,最后再将元信息同步至 HMS。

  • 基于 JDBC 的数据同步(仅支持 Hive 读):Hive reader 通过 JDBC 客户端连接 HiveServer2 服务进行数据读取。

1 支持的版本

  • 火山引擎 E-MapReduce(EMR)Hive 数据源。

  • 连接串形式支持 Hive 3.1 版本。

2 使用前提

  1. 子账号新建数据源时,需要有项目的管理员角色,方可以进行新建数据源操作。各角色对应权限说明,详见:管理成员

  2. 访问 EMR-Hive 数据源,需先在项目控制台 > 服务绑定 > 引擎绑定中,绑定相应 EMR-Hadoop 集群。详见创建项目

  3. Hive 数据源配置选择 EMR Hive 接入方式时,您需要填写 EMR 集群信息、数据库相关信息,需提前创建好 EMR Hadoop 集群类型。详见创建集群

  4. EMR Hadoop 集群使用的 VPC 需和独享集成资源组中的 VPC 保持一致:

    • 其 VPC 下的子网和安全组也尽可能保持一致。

    • 若 VPC 不一致时,则需要在 Hadoop 集群的安全组上,在入方向规则处,添加独享集成资源组子网的 IP 网段:

      1. 在 EMR Hadoop 集群详情界面,进入集群所在的安全组,并添加入方向规则。

      2. 在弹窗中,填写独享集成资源组子网的 IP 网段:

3 使用限制

  • 离线读:

    • 基于 HDFS 文件的离线读需指定分区字段的分区内容,单次执行仅支持读取单分区;

    • HDFS 的读取方式,仅支持 EMR Hive 的数据源接入方式,且 EMR 集群内 Hive 组件版本需为 3.X;

    • 基于 JDBC 的离线读,通过 SQL 读取数据,您需要配置好有效的 SQL 语句。

  • 离线写:

    • 目前仅支持基于 HDFS 文件的离线写入;

    • 单次执行只能写入单个分区。

  • 实时写:

    虽然数据是近实时写入 Hive,但是由于 Hive 分区可见性限制,数据写入后在 T+1 时间才能在 Hive 中查询到。例如:天级分区 Hive 表,任务启动后第二天可查询;小时级 Hive 表在第二个小时可查询。
    如果您对此功能原理感兴趣,可以参考下述文章:字节跳动基于Flink的MQ-Hive实时数据集成_大数据_字节跳动技术团队_InfoQ精选文章

4 支持的字段类型

Hive reader 和 Writer 会通过 HiveServer2 拿到目标 Hive 表的元信息,从而获取到各个字段的类型,自动完成任务的 Schema 配置,用户只需单击自动添加即可完成 Schema 配置。

类型分类数据集成 Column 配置类型
整数类tinyint、smallint、int、bigint
浮点类float、double、decimal
字符串类string、varchar
时间类date、timestamp
布尔类boolean
数组类array
字典类map
二进制类型binary

5 数据同步任务开发

5.1 数据源注册

新建数据源操作详见配置数据源,以下为您介绍不同接入方式的 Hive 数据源配置相关信息:

  1. EMR-Hive 数据源

    注意

    • EMR Hadoop 集群所在的 VPC 需和独享集成资源组中的 VPC 保持一致,确保网络能互相访问。不同 VPC 情况时,详见“2 使用前提”相关说明。

    • DataSail 会用 root 账号来读写 EMR Hive 表数据,因此数据源配置中的用户名和密码信息可忽略不填。

    其中参数名称前带 * 的为必填参数,名称前未带 * 的为可选填参数。

    参数说明
    基本配置
    *数据源类型Hive
    *接入方式EMR Hive
    *数据源名称数据源的名称,可自行设置,仅支持中文,英文,数字,“_”,100个字符以内。
    参数配置
    *EMR 集群 ID下拉选择已创建成功的 EMR Hadoop 集群名称,若还未创建相关集群,您可前往 EMR-控制台创建。详见创建集群
    *数据库名下拉选择集群环境中,已创建的 Hive 数据库名称。
    Hive 版本号依据已选择的 EMR Hadoop 集群,自动展现集群中包含的 Hive 版本。
    用户名有权限访问数据库的用户名信息。
    密码输入用户名对应的密码信息。
    扩展配置您可输入 HDFS 配置的可选扩展,例如 Hadoop HA 的配置信息。
  2. 连接串形式 Hive 数据源

    用连接串形式配置 Hive 数据源,其中参数名称前带 * 的为必填参数,名称前未带 * 的为可选填参数。

    参数说明
    基本配置
    *数据源类型Hive
    *接入方式连接串
    *数据源名称数据源的名称,可自行设置,仅支持中文,英文,数字,“_”,100个字符以内。
    参数配置

    *认证方式

    访问 Hive 数据源时,支持使用 Kerberos 认证的身份认证方式;若访问时无需认证,则认证方式选择
    其中 Kerberos 认证需要您将 keyTab 文件、conf 文件上传至数据源配置界面及填写 principal 认证相关信息。

    *数据库名输入已创建的 Hive 数据库名称。
    用户名有权限访问数据库的用户名信息。
    密码输入用户名对应的密码信息。
    *Hive 版本号支持下拉选择 Hive 3.1.2 的版本。
    *MetaStore URI输入 Hive 元数据存储的 MetaStore uri 地址,以 thrift://ip1:port,thrift://ip2:port 的形式,多个地址可用英文“,”分隔。

    *Hive JDBC URL

    输入 Hive JDBC URL 链接串地址信息:

    • 无 kerberos 认证时,需填写:jdbc:hive2://host:port/database

    • 有 kerberos 认证时,需补充填写认证信息: jdbc:hive2://host:port/database;principal= your principal

    *keyTab文件认证方式选择 kerberos 认证时,需要将 keyTab 配置文件上传。
    *conf文件认证方式选择 kerberos 认证时,需要将 conf 配置文件上传。
    *principal认证方式为 Kerberos 认证时,需输入用于认证的 Principal 身份信息。
    defaultFS填写 Hadoop HDFS 文件的 namenode 节点地址,以 hdfs:// ip:port 的形式填写。
    扩展配置填写必要的 HDFS 或 Hive 配置,默认情况无需额外配置,填写 <configuration></configuration>即可。

5.2 新建离线任务

Hive 数据源测试连通性成功后,进入到数据开发界面,开始新建 Hive 相关通道任务。新建任务方式详见离线数据同步流式数据同步
任务创建成功后,您可根据实际场景,配置 Hive 离线读Hive 离线写等通道任务。

说明

目前暂不支持 Hive 以脚本模式(DSL)配置通道任务。

5.3 可视化配置 Hive 离线读

数据来源选择 Hive,并完成以下相关参数配置:
其中参数名称前带 * 的为必填参数,名称前未带 * 的为可选填参数。

参数
说明
*数据源类型下拉选择 Hive 数据源类型。

*数据源名称

已在数据源管理中注册成功的 Hive 数据源,下拉可选。
若还未建立相应数据源,可单击数据源管理按钮,前往创建 Hive 数据源。

*数据表

选择需要采集的数据表名称信息,目前单个任务只支持将单表的数据采集到一个目标表中。

  • 快速建表:若源表还未创建,您可单击快速建表按钮,前往数据地图界面,进行 EMR Hive 表的创建。

  • 修改数据表:若源表字段存在需更新情况时,您可单击修改数据表按钮,对源表字段进行快速修改。

读取方式

Hive 读取方式支持“基于 HDFS”和“基于 JDBC”:

  • 基于 HDFS:需要指定分区字段的分区内容,仅支持单分区内容的读取。

  • 基于 JDBC:通过 SQL 读取数据,可实现字段的 where 过滤。

分区设置

基于 HDFS 方式读取数据时,会根据所选数据库表,获取 Hive 表中分区信息,指定读取的分区。

说明

读取 Hive 表为非分区表时,不需要设置分区。

数据过滤

基于 JDBC 方式读取数据时,支持您将需要同步的数据进行筛选条件设置,只同步符合过滤条件的数据,输入完整 Hive 语句,例如:select id,name,address from database.table_name where `date` > '${date}';
语句填写完成后,您可单击右侧的校验按钮,进行过滤语句校验。

说明

  • 该过滤语句通常用作增量同步,暂时不支持 limit 关键字过滤,其 SQL 语法需要和选择的数据源类型对应。
  • 数据过滤语句中,不包含表所有字段查询过滤时,在字段映射时,您可通过手动添加方式添加字段映射;建议数据过滤语句中包含所有表字段信息。

5.4 可视化配置 Hive 离线写

数据目标类型选择 Hive,并完成以下相关参数配置:
其中参数名称前带 * 的为必填参数,名称前未带 * 的为可选填参数。

参数说明
*目标类型下拉选择 Hive 数据源类型。

*数据源名称

已在数据源管理中注册成功的 Hive 数据源,下拉可选。
若还未建立相应数据源,可单击数据源管理按钮,前往创建 Hive 数据源。

*数据表

选择需要写入数据的 Hive 表名称信息,下拉可选。

  • 快速建表:若目标 Hive 表还未创建,您可单击快速建表按钮,前往数据地图界面,依据源端采集的字段信息,进行 EMR Hive 表的创建。

  • 修改数据表:若源端采集的字段存在更新情况时,您可单击修改数据表按钮,及时对目标表字段进行快速修改。

分区设置分区字段从 Hive 表中自动获取。分区内容可设置具体时间分区粒度,可以用表达式:${date}、${hour} 等参数变量表示。

数据写入方式

下拉选择目标数据写入方式,支持以下两种写入方式:

  • insert overwrite: 先删除原有数据再写入新数据;

  • insert into: 直接写入新数据。

5.5 可视化配置 Hive 实时写

流式集成任务实时写入 Hive 数据源,数据目标类型选择 Hive,并完成以下相关参数配置:
其中参数名称前带 * 的为必填参数,名称前未带 * 的为可选填参数。

参数
说明
*目标类型下拉选择 Hive 数据源类型。

*数据源名称

已在数据源管理中注册成功的 Hive 数据源,下拉可选。
若还未建立相应数据源,可单击数据源管理按钮,前往创建 Hive 数据源。

*数据表

选择需要写入数据的 Hive 表名称信息,下拉可选。

  • 快速建表:若目标 Hive 表还未创建,您可单击快速建表按钮,前往数据地图界面,依据源端采集的字段信息,进行 EMR Hive 表的创建。

  • 修改数据表:若源端采集的字段存在更新情况时,您可单击修改数据表按钮,及时对目标表字段进行快速修改。

分区频率

支持选择天级或小时级的分区频率:

  • 天级:每天产出一次分区

  • 小时级:每小时产出一次分区

说明

数据跟随 Hive 分区生成的时间产出,并非实时写入。

分区设置

分区字段从 Hive 表中自动获取。分区内容可设置具体时间分区粒度,可以用表达式:${date}、${hour} 等参数变量表示。

说明

分区类型中动态分区数目不能过多,会导致消费速率降低,推荐<10。

5.6 字段映射

数据来源和目标端配置完成后,需要指定来源和目标端的字段映射关系,根据字段映射关系,数据集成任务将源端字段中的数据,写入到目标端对应字段中。
您可通过以下三种方式操作字段映射关系:

  • 自动添加:单击自动添加按钮,根据两端数据表信息,可以自动填充来源和目标的字段信息。

  • 手动添加:单击手动添加按钮,可以手动编辑来源和目标的字段信息,可以逐个添加。

    说明

    来源端字段信息支持输入数据库函数和常量配置,单击手动添加按钮,在源表字段中输入需添加的值,并选择函数或常量类型,例如:

    • 函数:支持您输入 now()、current_timestamp()、unix_timestamp() 等 Hive 数据库支持的函数。

    • 常量:您可自定义输入常量值,'123'、'${DATE+1}'、'${hour}' 等,输入值两侧需要加上英文单引号,支持结合时间变量参数使用。

  • 移动\删除字段:您也可以根据需要移动字段映射顺序或删除字段。

6 高级参数可选配置

6.1 Hive 实时写

参数描述默认值
job.writer.null_string_as_null复杂类型中的 string 类型,默认会将 null 写为空字符串。如果需要配置默认写入 null,可以将此参数配置为 true。false
job.writer.case_insensitive默认会将数据全部转换为小写。true
job.writer.convert_error_column_as_null将脏数据中无法转换的列自动转换为 null。false

job.writer.dump.directory_frequency

写入 HDFS 文件夹的频率,支持以下参数:

  • 天级:dump.directory_frequency.day

  • 小时级:dump.directory_frequency.hour

dump.directory_frequency.day