使用Sqoop将MySQL的E_INFO表导入HDFS失败求助

问题背景 #

执行以下Sqoop命令导入MySQL表到HDFS时失败，核心报错为java.lang.ClassNotFoundException: Class E_INFO not found：

sqoop import --connect jdbc:mysql://localhost/HADOOP_BANK_DATA_POC --username root --password xxxxxxx --table E_INFO

原因分析 #

Sqoop在代码生成阶段会创建对应表的Java类（此处为E_INFO）并打包成Jar，但MapReduce任务运行时无法找到这个生成的类，通常是因为Jar包未被正确加载到分布式缓存，或类名/路径配置存在问题。

解决方案 #

1. 显式指定生成的Jar包路径 #

在命令中添加--jar-file参数，指定Sqoop生成的Jar文件路径。从日志中可获取Jar生成路径为/tmp/sqoop-h-user/compile/e0e749532f0eaa6daaca522c9759658a/E_INFO.jar，修改后的命令：

sqoop import --connect jdbc:mysql://localhost/HADOOP_BANK_DATA_POC --username root --password xxxxxxx --table E_INFO --jar-file /tmp/sqoop-h-user/compile/e0e749532f0eaa6daaca522c9759658a/E_INFO.jar

2. 使用--bindir参数指定编译输出目录 #

提前指定编译后的类和Jar存放目录，规避临时目录的加载问题：

sqoop import --connect jdbc:mysql://localhost/HADOOP_BANK_DATA_POC --username root --password xxxxxxx --table E_INFO --bindir /home/h-user/sqoop-compile

执行命令前先创建目录：mkdir -p /home/h-user/sqoop-compile

3. 修复环境变量配置错误 #

日志中出现HADOOP_ORG.APACHE.SQOOP.SQOOP_USER: invalid variable name类错误，说明环境变量配置格式有误。检查hadoop-env.sh或sqoop-env.sh，确保变量名使用下划线而非点号。

4. 手动将生成的Jar包添加到Hadoop ClassPath #

若上述方法无效，可手动复制生成的Jar包到Hadoop的lib目录：

cp /tmp/sqoop-h-user/compile/e0e749532f0eaa6daaca522c9759658a/E_INFO.jar /usr/local/hadoop/lib/

之后重启Hadoop服务，再重新执行Sqoop导入命令。

额外建议 #

• 避免在命令行直接输入密码，使用-P参数交互式输入，提升安全性。
• 导入MySQL数据时，可添加--direct参数启用MySQL专属快速传输通道，提升导入速度。

内容的提问来源于stack exchange，提问作者Salva