PySpark SQL同表多查询逻辑实现求助：行排名筛选问题

你需要先在子查询或CTE中同时完成列选择和行排名计算，再在外层查询中筛选排名为2的数据。直接在WHERE子句中调用窗口函数生成的列会报错，因为SQL的执行顺序里，WHERE逻辑先于窗口函数执行，此时row_rank列还未生成。

方式一：使用CTE（WITH子句） #

WITH ranked_data AS (
    SELECT 
        colA, 
        colB, 
        time, 
        responsetime,
        ROW_NUMBER() OVER(PARTITION BY id ORDER BY time desc, responsetime desc) AS row_rank
    FROM tableA
)
SELECT colA, colB, time, responsetime
FROM ranked_data
WHERE row_rank = 2;

方式二：使用子查询 #

SELECT colA, colB, time, responsetime
FROM (
    SELECT 
        colA, 
        colB, 
        time, 
        responsetime,
        ROW_NUMBER() OVER(PARTITION BY id ORDER BY time desc, responsetime desc) AS row_rank
    FROM tableA
) AS ranked_data
WHERE row_rank = 2;

关键注意事项 #

• SQL执行顺序中，WHERE子句的逻辑先于窗口函数执行，因此必须先在子查询/CTE中生成row_rank列，再在外层进行筛选。
• 内层查询需要包含你最终需要的所有列，同时计算row_rank，避免重复扫描表。
• 根据实际业务需求调整PARTITION BY和ORDER BY的字段，确保排名逻辑符合预期。

内容的提问来源于stack exchange，提问作者gfgd