Hive是否需显式命令从HDFS加载数据到表?两种操作方式有何区别
Hive数据加载规则与两种操作说明
1. Hive是否必须执行显式命令加载HDFS数据?
不需要。Hive支持两种关联数据的方式:除了显式执行LOAD、INSERT等命令导入数据外,建表时直接通过LOCATION关键字绑定HDFS上已有的数据路径,只要文件格式、字段分隔符和表定义匹配,建表完成后就可以直接查询数据,不需要额外执行加载命令。
2. 两种操作的差异说明
首先需要先修正你第一种建表语句的两处语法错误:
- 字段定义列表最后一个字段
firstname STRING后面多了多余的逗号,会导致语法校验失败 STORED AS关键字用于指定存储格式(如TEXTFILE、ORC、PARQUET等),不能直接跟文件路径,指定数据路径需要用LOCATION关键字,修正后第一种建表逻辑的正确写法如下:
CREATE TABLE dbo.table1( id INT, firstname STRING ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE LOCATION '/usr/hive/sample_data.csv';
两种操作的核心差异如下:
- 数据归属和删除逻辑不同:第一种方式是建表直接绑定已有数据路径,本质属于外部表逻辑,删除表时只会删除Hive的元数据,不会删除HDFS上的原数据文件;第二种默认创建Hive管理表(内部表),删除表时会同时删除对应的数据文件。
- 数据文件位置变化不同:第一种方式不会改动原数据文件的位置,文件始终保留在
/usr/hive/路径下;第二种执行LOAD DATA INPATH后,原路径下的sample_data.csv会被移动到Hive默认仓库的dbo.table1对应目录下,原路径不再保留该文件。 - 操作步骤不同:第一种建表完成后即可直接查询数据,不需要额外操作;第二种需要先建表,再执行显式的LOAD命令才能查询到数据。
- 适用场景不同:第一种适合HDFS上的存量数据需要被多个系统、多个表共享访问的场景,不会修改原数据的存储位置;第二种适合数据仅为当前Hive表使用,不需要被其他工具复用的场景。
内容的提问来源于stack exchange,提问作者Victor
相关产品推荐
相关产品推荐

