HIVE加载HDFS数据报错路径不存在问题求助

核心规则先明确 #

• 不带LOCAL参数：LOAD的是HDFS上的文件，路径必须是HDFS的合法路径，Hive会将文件移动到表的存储目录下
• 带LOCAL参数：LOAD的是Hive客户端所在机器的本地文件，和HDFS上的文件无关，所以你上传到HDFS的文件用这个参数肯定找不到

正确的HDFS路径引用方式 #

1. 使用完整绝对路径
   如果集群没有配置默认文件系统，需要写全HDFS地址：

   LOAD DATA INPATH 'hdfs://namenode_host:port/user/oscarvicenteremonhotmail/StockPrices.csv' INTO TABLE stock_prices;
   

   若已配置默认FS，直接写绝对路径即可：

   LOAD DATA INPATH '/user/oscarvicenteremonhotmail/StockPrices.csv' INTO TABLE stock_prices;
   

2. 验证路径与权限
   在Hive控制台执行HDFS命令，确认文件存在且Hive有权访问：

   dfs -ls /user/oscarvicenteremonhotmail/;
   

   若无法列出文件，检查Hive用户对该目录的读写权限，必要时用hdfs dfs -chmod调整权限。

3. 注意大小写
   HDFS是区分大小写的，确保LOAD语句中的文件名（如StockPrices.csv）和HDFS上的实际文件名完全一致。

替代方案：用外部表直接映射 #

如果LOAD DATA始终报错，可创建外部表直接关联HDFS文件，无需移动数据：

CREATE EXTERNAL TABLE stock_prices (
    -- 替换为你的实际字段定义，比如：
    trade_date STRING,
    open_price DOUBLE,
    high_price DOUBLE,
    low_price DOUBLE,
    close_price DOUBLE
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
-- 注意：LOCATION指向文件所在目录，而非单个文件
LOCATION '/user/oscarvicenteremonhotmail/hdfshive/';

若要指向单个文件，需将文件放入单独目录，或者修改Hive配置hive.mapred.supports.subdirectories=true（不推荐生产环境使用）。

内容的提问来源于stack exchange，提问作者Oscar DS