如何通过Hive查询获取链式关联数据？

要解决这个链式关联查询的问题，我们可以利用Hive 2.1.0及以上版本支持的**递归CTE（Common Table Expressions）**来实现，这是处理这类链式遍历场景最优雅的方式。

先明确你的源表tableA的结构和数据：

我们需要从colA=11（对应id=1）开始，沿着colB的值匹配下一行的colA，直到没有后续匹配项为止，最终得到你要的链式结果。

解决方案代码 #

WITH RECURSIVE chain AS (
    -- 锚点查询：获取链式遍历的起始行
    SELECT 
        id,
        colA AS ChainedCol,
        colB,
        -- 记录已遍历的colA路径，防止循环关联导致无限递归
        CONCAT(',', CAST(colA AS STRING), ',') AS path
    FROM tableA
    WHERE colA = 11
    
    UNION ALL
    
    -- 递归查询：从上一次遍历的结果中获取colB，匹配下一行的colA
    SELECT 
        t.id,
        t.colA AS ChainedCol,
        t.colB,
        -- 更新路径，加入当前的colA
        CONCAT(c.path, CAST(t.colA AS STRING), ',') AS path
    FROM chain c
    JOIN tableA t ON c.colB = t.colA
    -- 检查当前colA是否已在路径中，避免循环
    WHERE INSTR(c.path, CONCAT(',', CAST(t.colA AS STRING), ',')) = 0
)
-- 输出最终需要的列
SELECT id, ChainedCol, colB
FROM chain
ORDER BY id;

代码说明 #

1. 锚点查询：首先定位链式遍历的起点，也就是colA=11的行，同时初始化path字段用来记录已经遍历过的colA值，避免后续出现循环关联（比如某一行的colB又指向之前已经遍历过的colA）。
2. 递归查询：将上一轮的遍历结果和原表关联，关联条件是上一行的colB等于当前行的colA，同时通过INSTR函数检查当前行的colA是否已经在路径中，确保不会无限递归。
3. 结果输出：从递归CTE的结果中选择需要的列，最终得到你想要的链式关联结果集。

如果你的Hive版本低于2.1.0，递归CTE不被支持，那只能通过多次自连接的方式实现，但这种方式只适合固定长度的链式遍历，灵活性很差，推荐优先升级Hive版本使用递归CTE方案。

内容的提问来源于stack exchange，提问作者Arpit Trivedi