BigQuery中使用窗口函数时,如何让每个visit_id仅返回一次?
问题原因与解决方案
你遇到的问题根源在于窗口函数和GROUP BY的逻辑冲突:
- 带
OVER (PARTITION BY visit_id)的窗口函数,会为原表中每个visit_id对应的每一行数据,都计算出相同的min/max值,所以最终结果里每个visit_id会重复出现多次(次数和原表中该visit_id的行数一致)。 - 直接给原语句加
GROUP BY visit_id会报错,是因为SQL的GROUP BY规则要求:SELECT列表里的列要么是GROUP BY的分组列,要么是聚合函数(比如MIN/MAX),而窗口函数不属于聚合函数,不符合语法要求。
两种可行的解决方法
方法1:用GROUP BY + 聚合函数(推荐,性能更优)
既然目标是每个visit_id只返回一行,直接用聚合函数配合GROUP BY是最直接的方式,不需要窗口函数:
SELECT visit_id, MIN(event_start_datetime) AS min_event_time, MAX(event_start_datetime) AS max_event_time, MAX(event_start_datetime) - MIN(event_start_datetime) AS duration FROM `table` GROUP BY visit_id;
方法2:保留窗口函数,添加DISTINCT去重
如果一定要用窗口函数,可以通过DISTINCT去掉重复的visit_id结果(因为窗口函数对同一个visit_id的所有行计算结果完全一致):
SELECT DISTINCT visit_id, MIN(event_start_datetime) OVER (PARTITION BY visit_id) AS min_event_time, MAX(event_start_datetime) OVER (PARTITION BY visit_id) AS max_event_time, MAX(event_start_datetime) OVER (PARTITION BY visit_id) - MIN(event_start_datetime) OVER (PARTITION BY visit_id) AS duration FROM `table`;
内容的提问来源于stack exchange,提问作者Matthew Justin
相关产品推荐
相关产品推荐

