Sqoop导入工具运行时出现NullPointerException问题求助

咱先来拆解你遇到的两个问题，先处理那个看着闹心的警告，再搞定核心的NullPointerException：

一、关于HBase路径不存在的警告 #

/usr/local/sqoop/sqoop-1.4.7.bin__hadoop-2.6.0/../hbase does not exist! HBase imports will fail. Please set $HBASE_HOME to the root of your HBase installation...

这个警告完全不影响你当前的Hive导入任务，只是Sqoop默认会检查HBase的安装路径，但你这次根本用不上HBase功能，所以它就是个无关痛痒的提示而已。

如果想彻底去掉这个警告，有两个办法：

• 临时在执行命令前指定一个存在的路径（哪怕是空目录）：

  HBASE_HOME=/tmp sqoop import --connect jdbc:mysql://localhost:3306/sb --username root --password xxxx --table sb_user --hive-import --create-hive-table --hive-table sqoop_import.test_from_sqoop --fields-terminated-by "," --bindir ./
  

• 永久设置环境变量：在~/.bashrc或者/etc/profile里添加export HBASE_HOME=/usr/local/hbase（替换成你实际想指定的路径，只要路径存在就行），然后执行source ~/.bashrc生效。

二、解决核心的NullPointerException #

这个NPE是Sqoop 1.4.7导入Hive时的常见坑，大概率是以下几个原因，你可以逐个排查：

1. Sqoop缺少Hive依赖包 #

Sqoop需要调用Hive的API来创建表和同步数据，默认情况下可能没把Hive的核心jar包加载进来：

• 找到你Hive安装目录下的lib文件夹，把hive-exec-<你的Hive版本>.jar和hive-metastore-<你的Hive版本>.jar复制到Sqoop的lib目录（比如/usr/local/sqoop/sqoop-1.4.7.bin__hadoop-2.6.0/lib）。
• 或者在执行Sqoop命令时用--libjars参数直接指定这两个jar的路径，示例命令：

  sqoop import --connect jdbc:mysql://localhost:3306/sb --username root --password xxxx --table sb_user --fields-terminated-by "," --bindir ./ --hive-import --create-hive-table --hive-table sqoop_import.test_from_sqoop --libjars /usr/local/hive/lib/hive-exec-2.3.7.jar,/usr/local/hive/lib/hive-metastore-2.3.7.jar
  

  注意替换成你实际的Hive版本和jar包路径。

2. Hive元数据配置未同步到Sqoop #

Sqoop需要读取Hive的元数据库配置来连接metastore：

• 把Hive安装目录conf下的hive-site.xml复制到Sqoop的conf目录，或者Hadoop的conf目录。
• 检查hive-site.xml里的以下配置是否正确，确保能正常连接Hive的元数据库（比如MySQL）：
  • javax.jdo.option.ConnectionURL
  • javax.jdo.option.ConnectionDriverName
  • javax.jdo.option.ConnectionUserName
  • javax.jdo.option.ConnectionPassword

3. 权限或预创建数据库问题 #

• 先手动在Hive里创建好目标数据库sqoop_import：

  CREATE DATABASE IF NOT EXISTS sqoop_import;
  

  避免Sqoop执行时因为没有权限创建数据库而报错。
• 检查HDFS上的/user/hive/warehouse目录权限，确保执行Sqoop命令的用户有读写权限，因为导入的数据会先落地到HDFS再被Hive识别。

4. Sqoop参数顺序问题 #

Sqoop对部分参数的顺序比较敏感，你可以把Hive相关的参数移到命令末尾试试，调整后的命令：

sqoop import --connect jdbc:mysql://localhost:3306/sb --username root --password xxxx --table sb_user --fields-terminated-by "," --bindir ./ --hive-import --create-hive-table --hive-table sqoop_import.test_from_sqoop

内容的提问来源于stack exchange，提问作者MrG