Databricks SQL查询结果重复问题排查求助

问题说明 #

Databricks SQL查询输出异常：单EmployeeID查询时，对应唯一PeriodStartDate；全量查询时，同一EmployeeID出现多条PeriodStartDate记录，与预期不符。

排查步骤 #

1. 核查表关联逻辑 #

• 检查JOIN关联的表是否存在一对多映射：比如关联的维度表中，同一EmployeeID对应多条记录，全量查询时产生笛卡尔积导致重复。
• 确认JOIN条件是否完整：是否仅用EmployeeID关联，遗漏了PeriodStartDate或其他需同步关联的字段。

2. 检查聚合/窗口函数逻辑 #

• 若使用窗口函数（如ROW_NUMBER()），验证分区键是否仅为EmployeeID，排序逻辑是否能确保每个分区仅保留一条目标记录。
• 若用聚合函数（如MAX(PeriodStartDate)），检查分组字段是否仅包含EmployeeID，避免多余字段拆分分组导致重复。

3. 验证源表数据 #

• 执行以下语句检查源表是否本身存在重复：

SELECT EmployeeID, PeriodStartDate, COUNT(*) 
FROM 你的源表名 
GROUP BY EmployeeID, PeriodStartDate 
HAVING COUNT(*) > 1

• 对比单条与全量查询的执行计划：用EXPLAIN分别查看两种查询的执行计划，确认是否存在分区裁剪失效、数据倾斜等差异。

4. 清理缓存/刷新表 #

• 若依赖临时表或视图，执行REFRESH TABLE 表名或CLEAR CACHE后重新查询，排除缓存旧数据的影响。

附查询代码 #

-- 请替换为实际查询代码
SELECT 
  emp.EmployeeID,
  emp.PeriodStartDate,
  -- 其他查询字段
FROM employee_main emp
JOIN employee_detail ed ON emp.EmployeeID = ed.EmployeeID
-- 其他查询逻辑

问题截图 #

重复数据展示

内容的提问来源于stack exchange，提问作者Carl Blunck