如何在Cloudera中查找数据集位置？解决LOAD DATA路径不存在报错

错误原因说明 #

你执行的LOAD DATA INPATH '/home/cloudera/UNSW_NB15.csv'是从HDFS加载数据，但HDFS的/home/cloudera/目录下不存在UNSW_NB15.csv文件，导致报错。以下是几种查找数据集位置的方法：

1. 通过HDFS命令行工具查找 #

• 检查本地文件系统：如果文件可能存放在Cloudera虚拟机的本地系统，先执行：

  ls /home/cloudera/
  

  若能看到UNSW_NB15.csv，说明文件在本地，加载时需加LOCAL关键字：

  LOAD DATA LOCAL INPATH '/home/cloudera/UNSW_NB15.csv' OVERWRITE INTO TABLE mybigdata_qu
  

• 遍历HDFS查找文件：执行以下命令搜索HDFS中所有同名文件，返回完整路径：

  hdfs dfs -find / -name UNSW_NB15.csv
  

• 查看指定HDFS目录：直接查看HDFS的/home/cloudera/目录内容，确认文件是否存在：

  hdfs dfs -ls /home/cloudera/
  

2. 通过Cloudera Manager的HDFS文件浏览器查找 #

• 登录Cloudera Manager控制台，找到HDFS服务
• 进入「文件浏览器」（File Browser）模块，可从根目录/逐层浏览目录结构，或直接在搜索框输入UNSW_NB15.csv检索文件位置

3. 检查Hive表的存储路径（针对外部表） #

如果mybigdata_qu是外部表，可执行以下Hive命令查看表的存储路径，确认数据是否应该放置在对应位置：

DESCRIBE EXTENDED mybigdata_qu;

内容的提问来源于stack exchange，提问作者Dawa