如何通过Hive脚本将指定目录下的多个文本文件合并为Hive表？

嘿，这个问题其实Hive本身就给了很省心的解决方案，完全不用你手动去写每一个文件的LOAD语句！我给你拆解几个实用的方法，适配不同的场景需求：

1. 直接加载整个目录（最省心的基础方式） #

如果你的目标目录/combine下全是需要加载的文件（没有子目录，或者子目录不需要纳入加载范围），直接把INPATH指向目录路径就行，Hive会自动把目录下所有文件加载到指定表中：

LOAD DATA INPATH '/combine' INTO TABLE tablename;

注意：执行这个命令后，Hive会把整个目录下的文件移动到表对应的HDFS存储路径下（默认是/user/hive/warehouse/database.db/tablename），原目录/combine会被清空。如果想保留源文件，记得加上LOCAL关键字（源文件在本地文件系统时），或者用后面提到的外部表方案。

2. 脚本动态传入目录路径（适配可复用脚本需求） #

如果你需要写一个通用脚本，支持用户传入任意目录路径，可以结合Hive变量和Shell脚本实现：

方式一：Hive命令行传参 #

先写一个HQL脚本load_files.hql：

LOAD DATA INPATH '${input_dir}' INTO TABLE tablename;

然后在Shell中执行Hive时传入目录参数：

hive -hiveconf input_dir='/combine' -f load_files.hql

方式二：Shell遍历+生成LOAD语句（细粒度控制场景） #

如果目录下有子目录、或者需要过滤特定后缀的文件（比如只加载.txt文件），可以用Shell脚本先遍历目录，自动生成对应的LOAD语句再执行：

#!/bin/bash
INPUT_DIR=$1
TABLE_NAME="tablename"

# 生成临时HQL脚本
echo "USE your_target_database;" > load_temp.hql
# 遍历HDFS目录下的所有文件（排除子目录）
for file in $(hdfs dfs -ls $INPUT_DIR | grep -v "^d" | awk '{print $8}'); do
    echo "LOAD DATA INPATH '$file' INTO TABLE $TABLE_NAME;" >> load_temp.hql
done

# 执行生成的HQL脚本
hive -f load_temp.hql

# 清理临时文件
rm load_temp.hql

使用时直接传入目录路径即可：

bash load_script.sh /combine

3. 外部表方案（保留源文件，实时映射） #

如果不想移动源文件，而是让Hive直接读取目录下的文件内容，可以创建外部表：

CREATE EXTERNAL TABLE tablename (
    -- 根据你的文件结构定义字段，比如 col1 string, col2 int, ...
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' -- 替换成你文件的分隔符
LOCATION '/combine';

这样Hive表会直接映射到/combine目录下的所有文件，后续目录新增的文件也能被表识别（如果需要刷新元数据，执行MSCK REPAIR TABLE tablename;即可）。

内容的提问来源于stack exchange，提问作者deeformvp