mysql多表导入hive

在数据处理的过程中，我们会遇到将mysql中的数据导入到hive中的情况。这篇文章将会介绍如何通过多表导入的方式将mysql中的数据导入到hive中。

一、准备工作

1. 在mysql中创建需要导入到hive中的表格，例如我们在mysql中创建了表格：user_info（用户信息表）和order_info（订单信息表）。
2. 在hive中创建对应的表格，需要指定hive中的表格存放的路径、分隔符、数据类型等。

二、利用sqoop将mysql中的数据导入到hive中 Sqoop是一个用于在Hadoop和关系型数据库之间传输数据的开源工具，因此我们可以使用Sqoop将mysql中的数据导入到hive中。

步骤一：打开终端，输入以下命令，将mysql中的user_info表格导入到hive中

sqoop import \
--connect jdbc:mysql://mysql_server:3306/database_name \
--username root \
--password root \
--table user_info \
--hive-import \
--create-hive-table \
--hive-table user_info \
--fields-terminated-by '\t' \
--hive-overwrite \
--null-string '\\N' \
--null-non-string '\\N' \
--hive-partition-key dt \
--hive-partition-value 20210101

具体解释 --connect jdbc:mysql://mysql_server:3306/database_name：连接mysql所在服务器的地址和端口，以及需要导入的database名字 --username root：mysql的用户名 --password root：mysql的密码 --table user_info：需要导入到hive中的mysql的表名 --hive-import：启用这个参数，则数据将被导入到hive中 --create-hive-table：使用该参数可以创建一个新表。如果表已经存在，则Sqoop会失败 --hive-table user_info：在hive中为导入的表格指定一个名称 --fields-terminated-by '\t'：指定hive表格中每个字段的分隔符，这里使用了制表符 --hive-overwrite：启用此选项将在重载现有表时覆盖数据 --null-string '\N'：如果mysql表中的值为null，则在导入到hive中的值将会为'\N' --null-non-string '\N'：如果mysql表中的非字符串值为null，则在导入到hive中的值将会为'\N' --hive-partition-key dt：指定分区键，这