使用Sqoop从MySQL导入Hadoop失败，是否需安装Hive？

1. Sqoop是否必须本地安装Hive？ #

不需要。Sqoop支持直接将关系型数据库数据导入HDFS，这类场景完全不需要依赖Hive。只有当你需要把数据直接导入Hive表（例如使用--hive-import参数）时，才需要集群或本地存在可用的Hive环境。

2. 导入失败的问题排查与解决 #

你遇到的错误核心是HDFS集群无运行中的DataNode节点，导致无法复制MySQL驱动包等文件，最终导入任务失败。可按以下步骤处理：

• 检查Hadoop进程状态：执行jps命令，确认是否存在DataNode进程。如果没有，说明DataNode未启动。
• 启动DataNode：执行hadoop-daemon.sh start datanode，或者用start-dfs.sh重启整个HDFS服务。
• 排查DataNode启动失败原因：常见诱因包括磁盘空间不足、DataNode数据目录权限错误、NameNode与DataNode版本不匹配，或是新集群重复格式化NameNode。
• 验证HDFS可用性：启动DataNode后，访问http://localhost:50070查看集群状态，确认Live Nodes数量至少为1。

额外说明 #

你的Sqoop命令本身是正确的（针对导入HDFS的场景），待HDFS集群恢复正常后，重新执行该命令即可在/user/hadoop/employees路径下看到导入的数据。

内容的提问来源于stack exchange，提问作者Shamir Bhandari