Hive新建外部表INSERT OVERWRITE行为及LOCATION配置疑问

DROP TABLE IF EXISTS distribution.030601_TI11;

CREATE EXTERNAL TABLE IF NOT EXISTS distribution.030601_TI11(
    mygroup STRING, year STRING, type1 STRING, type2 STRING,
    type3 STRING, myvalue INT)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n'
STORED AS TEXTFILE LOCATION '/warehouse/distribution/030601_TI11';

INSERT OVERWRITE TABLE distribution.030601_TI11
SELECT *
FROM develop.030601_TI11;

1. INSERT OVERWRITE 对外部表的生效逻辑 #

你对外部表DROP TABLE的认知是准确的：删除外部表时只会清除Hive存储的元数据，不会改动LOCATION对应HDFS路径下的实际数据文件。
但INSERT OVERWRITE的逻辑和DROP完全不同：无论操作的是内部表还是外部表，INSERT OVERWRITE都会直接删除目标表LOCATION路径下的所有现存数据文件，再将SELECT查询返回的结果生成新文件写入该路径，最终效果就是完全清空表内原有数据，仅保留本次查询返回的新条目。
针对你贴的脚本要额外注意执行顺序带来的影响：先执行DROP会删掉旧表元数据，但旧数据文件还残留在原路径；之后重新建外部表指向同一路径时，表会直接读取到路径下的残留旧数据；最后的INSERT OVERWRITE会把这些残留旧文件全部删除，写入从develop.030601_TI11查询到的新数据。这是刚接触Hive的开发者很容易踩的坑：不要误以为外部表的底层数据不会被INSERT OVERWRITE删除。

2. LOCATION参数的管理规则 #

• 基础规则：LOCATION传入的是HDFS路径，既支持指向目录，也支持指向单个文件，两种配置都可以正常建表、读取数据。
• 实践建议：生产环境几乎都会配置目录路径，很少直接指向单个文件，核心原因有两个：
  • 若LOCATION指向单个文件，后续执行INSERT OVERWRITE/INSERT INTO写入时，Hive会将该路径识别为目录，在其下生成新的数据文件，原本的单个文件会被转化为同名目录，极易引发路径混乱。
  • 若LOCATION指向目录，Hive会自动扫描目录下所有符合存储格式的有效文件（自动过滤_SUCCESS这类标记文件、点开头的隐藏文件），不需要单独指定单个文件，后续数据覆写、追加的逻辑也更顺畅。
• 单CSV文件建表的注意事项：如果是临时查询场景，直接把LOCATION指向单个CSV文件的HDFS路径完全可行，只要同步配置好字段分隔符、跳过表头的表参数即可；如果是长期使用的正式表，建议先创建专属目录，将CSV文件移入目录后再把LOCATION指向对应目录，避免后续写入时出现路径问题。

内容的提问来源于stack exchange，提问作者Luiscri