You need to enable JavaScript to run this app.
导航

使用说明

最近更新时间2023.04.11 14:02:27

首次发布时间2021.09.01 17:27:34

Sqoop 使用说明

Apache Sqoop 是一款用于在 Hadoop 生态软件和结构化数据存储(例如关系型数据库)之间进行高效的海量数据传输的工具。

将 MySQL 数据导入 HDFS

sqoop import --connect <dburi>/<dbname> --username <username> --password <password> --query<query-sql> --target-dir <hdfs-dir> --split-by <column>

参数解释:

参数描述
dburi数据库访问链接
dbname数据库名称
username数据库用户名
password数据库密码
query-sql数据库查询语句
hdfs-dirHDFS 写入目录

详细信息请参考Sqoop User Guide

将 HDFS 数据导入 MySQL

sqoop export --connect <dburi>/<dbname> --username <username> --password <password> --table <tablename> --export-dir <hdfs-dir>

参数解释:

参数描述
dburi数据库访问链接
dbname数据库名称
username数据库用户名
password数据库密码
tablename数据库表名
hdfs-dirHDFS 目录

详细信息请参考Sqoop User Guide

将 MySQL 数据导入 Hive

请确认已选择 Hive 服务。
sqoop import --connect <dburi>/<dbname> --username <username> --password <password> --table <tablename> --hive-import --target-dir <hdfs-dir> --hive-table <hive-tablename>

参数解释:

参数描述
dburi数据库访问链接
dbname数据库名称
username数据库用户名
password数据库密码
tablename数据库表名
hdfs-dirHDFS 目录
hive-tablenameHive 表名

详细信息请参考Sqoop User Guide

将 Hive数据导入 MySQL

sqoop export --connect <dburi>/<dbname> --username <username> --password <password> --table <tablename> --export-dir <hdfs-dir>

参数解释:

参数描述
dburi数据库访问链接
dbname数据库名称
username数据库用户名
password数据库密码
tablename数据库表名
hdfs-dirHDFS 目录

详细信息请参考Sqoop User Guide