Sqoop导入MySQL表至Hadoop后目标路径无文件显示问题

首先看你给出的Sqoop命令，我发现一个很容易忽略的小错误：--target-dir =/user/cloudera/jds这里多了一个等号，这是导致问题的核心原因！

Sqoop的参数格式是--参数名 参数值，不需要加等号。当你加上等号后，Sqoop会把=/user/cloudera/jds整个当成目标目录名，而不是你期望的/user/cloudera/jds。所以导入的文件其实被写到了一个包含等号的奇怪路径里，你自然在/user/cloudera/jds下看不到任何内容。

下面是具体的排查和解决步骤：

• 第一步：确认文件实际写入路径
  执行以下命令查找所有名为jds的目录，看看是不是藏在某个奇怪的路径下：

  hadoop fs -find / -name "jds"
  

  你大概率会看到一个类似=/user/cloudera/jds的目录，里面就是你导入的文件。

• 第二步：修复Sqoop命令重新导入
  把命令里的等号去掉，正确的命令应该是：

  sqoop import --connect jdbc:mysql://quickstart:3306/lipu --username root --password cloudera --table student --target-dir /user/cloudera/jds --m 1
  

  如果之前的错误目录还在，可以先删除它：

  hadoop fs -rm -r "/=user/cloudera/jds"
  

  （注意路径里的等号，需要用引号括起来避免shell解析错误）

• 第三步：验证结果
  重新执行修复后的Sqoop命令，导入完成后再执行：

  hadoop fs -ls /user/cloudera/jds
  

  这时候应该就能看到类似part-m-00000的数据文件了。

如果以上步骤还是没解决，再检查这两个小细节：

• 确认/user/cloudera/jds目录在导入前不存在（Sqoop默认不允许覆盖已存在的目录，如果目录存在会报错，但你说导入提示成功，所以这个可能性较低）
• 检查执行Sqoop的用户是否有写入/user/cloudera/jds目录的权限，可以用hadoop fs -test -w /user/cloudera/jds验证（返回0表示有权限）

内容的提问来源于stack exchange，提问作者user9657929