Spark SQL三表联合左连接合并手机号得分的查询异常问题排查

原实现存在的问题 #

• 手机号合并临时表的列定义完全失效
  Spark SQL中UNION操作是按照列的位置做对齐匹配，不会根据后续查询的列名对齐。你三次查询分别给手机号列起了mobile_A/mobile_B/mobile_AB的别名，最终生成的union_table实际只会保留第一个查询的列名mobile_A，根本不存在后续关联条件里引用的u.mobile_n字段，所有关联逻辑从语法上就无法正常执行。
• 关联表名引用错误
  后续查询中写的是LEFT JOIN C ON C.mobile = u.mobile_n，但业务链路中没有定义过名为C的表，原本要关联的是存储scoreAB的AB表，会直接触发“表不存在”的运行报错。
• 输出字段结构不匹配
  查询最终取的手机号字段是u.mobile_A，没有按照目标结构要求重命名为mobile，和预期的「mobile、scoreA、scoreB、scoreAB」字段结构不一致。

修正后的可运行实现 #

第一步，统一所有手机号的列名，生成干净的手机号全集临时表：

SELECT A.mobile AS mobile FROM A
UNION 
SELECT B.mobile AS mobile FROM B
UNION 
SELECT AB.mobile AS mobile FROM AB

将执行结果注册为临时视图union_table，此时视图内只有统一命名的mobile列，覆盖所有需要统计的手机号。

第二步，修正关联逻辑，匹配正确的表名和字段：

SELECT 
  u.mobile,
  A.score AS scoreA,
  B.score AS scoreB,
  AB.score AS scoreAB
FROM union_table u
LEFT JOIN A ON A.mobile = u.mobile
LEFT JOIN B ON B.mobile = u.mobile
LEFT JOIN AB ON AB.mobile = u.mobile

该查询的匹配逻辑完全符合业务规则：

• 仅存在于表A的手机号：可匹配到对应scoreA，scoreB、scoreAB自动取null
• 仅存在于表B的手机号：可匹配到对应scoreB，scoreA、scoreAB自动取null
• 同时存在于A/B、且在AB表有记录的手机号：可匹配到全部三类得分

内容的提问来源于stack exchange，提问作者Srivatsan