如何在Databricks SQL中按Column A唯一值限制每组最多1000条记录？

普通的LIMIT子句是对全局结果集做限制，无法实现按Column A的每个唯一值分别限制最多返回1000条的需求。你需要用窗口函数ROW_NUMBER()结合子查询/CTE来实现分组行限制。

核心实现代码 #

WITH ranked_records AS (
  SELECT
    `Column A`,
    `Column B`,
    `Column C`, -- 注：原示例表格存在重复列名"Column B"，此处修正为合理列名
    -- 按Column A分组，给每组内的行分配递增序号；ORDER BY可根据需求指定排序规则
    ROW_NUMBER() OVER (PARTITION BY `Column A` ORDER BY `Column B`) AS row_rank
  FROM your_table_name -- 替换为你的实际表名
)
SELECT `Column A`, `Column B`, `Column C`
FROM ranked_records
WHERE row_rank <= 1000;

关键部分说明 #

• PARTITION BY \Column A``：将数据按Column A的唯一值拆分成分组
• ROW_NUMBER()：为每个分组内的行分配唯一的递增序号（从1开始）
• ORDER BY：可选但建议添加，用于指定分组内行的排序规则，保证每次查询返回的结果稳定；如果不需要特定顺序，也可以用ORDER BY rand()随机取1000条
• 最后通过WHERE row_rank <= 1000过滤，实现每个分组最多返回1000条记录

针对你的示例数据的测试效果 #

如果用你提供的示例数据执行上述SQL（假设表名为sample_data），返回结果会是：

• Column A=1的所有3条记录（因为数量小于1000）
• Column A=2的所有3条记录
• Column A=3的所有2条记录

如果某分组的记录数超过1000，只会保留该分组内排序后的前1000条。

内容的提问来源于stack exchange，提问作者Frust