如何在Hive中直接处理Python列表中的表名并生成UNION ALL查询？

API 探路者

2026-7-14

在Hive内部基于表名列表生成UNION ALL查询

不用Python拼接SQL，直接在Hive里用explode和动态SQL就能实现，步骤如下：

1. 传递或定义表名列表

先把Python里的表名列表转换成Hive能识别的数组常量，你可以通过hivevar变量传递（比如从Python调用Hive时传入），或者直接在Hive脚本里定义：

-- 直接在Hive中定义表名数组
SET hivevar:table_list = array('table A1', 'table A2', 'table A3');

-- 或者从Python调用时传递（示例）
# subprocess.run(["hive", "--hivevar", "table_list=array('table A1','table A2')", "-f", "your_script.hql"])

2. 生成完整的UNION ALL查询语句

通过explode拆分数组，拼接每个表对应的SELECT语句，再用concat_ws把所有语句用UNION ALL连接起来：

SELECT concat_ws('\nUNION ALL\n', collect_list(sql_part)) AS full_union_sql
FROM (
    -- 拼接单个表的查询语句，用反引号包裹表名避免特殊字符问题
    SELECT concat('SELECT * FROM `', tab_name, '`') AS sql_part
    FROM (SELECT explode(${hivevar:table_list}) AS tab_name) t
) t2;

3. 直接执行生成的动态SQL

如果要自动执行生成的查询，可以把结果赋值给变量，用EXECUTE命令运行：

-- 先把生成的SQL存入变量
SET hivevar:full_sql = (
    SELECT concat_ws('\nUNION ALL\n', collect_list(sql_part))
    FROM (
        SELECT concat('SELECT * FROM `', tab_name, '`') AS sql_part
        FROM (SELECT explode(${hivevar:table_list}) AS tab_name) t
    ) t2
);

-- 执行动态SQL
EXECUTE ${hivevar:full_sql};