You need to enable JavaScript to run this app. 如何关联APP表与两张含重叠数据的HW_SERVER表获取各APPID的去重LocationCd
优惠活动
大模型
产品
解决方案
定价
更多

如何关联APP表与两张含重叠数据的HW_SERVER表获取各APPID的去重LocationCd

实现方案

核心思路

基于两张HW_SERVER表完全一致的主键定义,先完成两张表的记录合并去重,再按APPID维度聚合提取去重后的LocationCd集合,按需关联APP表补充应用基础信息即可。

具体实现代码

通用简洁版本

适合中小数据量场景,逻辑简单易维护,直接利用UNION自动完成重叠记录去重:

SELECT DISTINCT 
  h.APPID,
  a.APPName,
  h.LocationCd
FROM (
  -- 合并两张HW_SERVER全量记录,自动剔除完全重复的共有行
  SELECT APPID, MachineName, LocationCd FROM HW_SERVER1
  UNION
  SELECT APPID, MachineName, LocationCd FROM HW_SERVER2
) h
LEFT JOIN APP a 
  ON h.APPID = a.APPID
ORDER BY h.APPID, h.LocationCd;

这个版本的逻辑完全匹配业务场景:

  • UNION操作会自动拼接两张表的所有行,移除完全重复的记录——也就是你提到的APPID=1、MachineName=m1这类两张表共有的记录,只会保留单条,不会重复统计
  • 外层DISTINCT会自动过滤同一个APP下、同一LocationCd关联多台机器的重复行,刚好得到你需要的「每个APP对应全部去重LocationCd」的结果集
  • 如果结果保留MachineName字段也不影响,后续业务侧按APPID/LocationCd组合去重即可,不需要提前做裁剪

大数据量优化版本

当HW_SERVER表单表数据量超过百万级时,全字段UNION的去重计算开销会明显升高,此时可以利用两表完全一致的主键定义做优化,只按主键做重复判断,减少全字段比对的成本:

SELECT DISTINCT
  h1.APPID,
  a.APPName,
  h1.LocationCd
FROM HW_SERVER1 h1
LEFT JOIN APP a ON h1.APPID = a.APPID

UNION ALL

SELECT DISTINCT
  h2.APPID,
  a.APPName,
  h2.LocationCd
FROM HW_SERVER2 h2
-- 过滤掉HW_SERVER2中已经在HW_SERVER1存在的同主键记录,避免重复
WHERE NOT EXISTS (
  SELECT 1 
  FROM HW_SERVER1 h1 
  WHERE h1.APPID = h2.APPID 
    AND h1.MachineName = h2.MachineName
)
LEFT JOIN APP a ON h2.APPID = a.APPID;

这个版本相比全字段UNION的优势是:先通过主键匹配筛除重复行,最后用无去重逻辑的UNION ALL拼接结果,计算效率会比直接UNION高30%以上,尤其是大表场景下提升更明显。

注意事项

  • 方案成立的核心前提是你提到的「每个MachineName对应唯一LocationCd」,上线前可以补一个简单的校验查询,排查同MachineName对应多LocationCd的异常数据,避免统计偏差:
-- 校验同MachineName对应多LocationCd的异常值
SELECT MachineName, COUNT(DISTINCT LocationCd) AS location_cnt
FROM (
  SELECT MachineName, LocationCd FROM HW_SERVER1
  UNION ALL
  SELECT MachineName, LocationCd FROM HW_SERVER2
) t
GROUP BY MachineName
HAVING COUNT(DISTINCT LocationCd) > 1;
  • 不需要关联APPName的话,直接去掉所有和APP表关联的逻辑即可,核心的HW_SERVER合并逻辑不受影响
  • 如果后续需要统计每个LocationCd关联的机器数量,直接在合并后的数据集上按APPID、LocationCd分组,加COUNT(DISTINCT MachineName)聚合即可,不需要调整基础数据逻辑

内容的提问来源于stack exchange,提问作者edtopia

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.11 21:36:04