如何在Snowflake中编写SQL UDF实现Group By序号自动填充

为什么主流数据库不原生提供这个能力 #

别觉得是厂商偷懒，核心是三个非常现实的原因：

• SQL解析顺序不支持：数据库的SQL解析管线是按FROM -> WHERE -> GROUP BY -> HAVING -> SELECT -> ORDER BY的顺序走的，处理GROUP BY逻辑的时候，根本还没解析到SELECT段的列定义，不存在“识别结果集维度/聚合列”的前提。要原生做这个功能就得重构整个解析流程，改造成本极高还容易牵一发动全身。
• 语义歧义没法统一：比如SELECT段里的常量值、窗口函数、嵌套标量子查询、CASE WHEN表达式到底算不算分组维度？不同业务场景的判定逻辑完全不一样，原生功能只要有一个场景不符合用户预期，就会造成计算结果错误，排查成本极高。
• 兼容性问题：ANSI SQL标准从来没有定义过自动生成分组列的语法，数据库厂商不会随便加非标准特性，破坏跨库SQL的兼容性。

核心落地思路 #

别指望做能在SQL执行阶段自动拦截补全的UDF——Snowflake的UDF是在执行算子阶段运行的，根本碰不到SQL解析层。正确的思路是做SQL预处理工具：不管是用UDF还是存储过程，输入你写的带占位符的原始SQL，自动识别SELECT段的非聚合列生成对应的1,2,3...序号，补全GROUP BY子句之后，你再执行生成的SQL就行。
判定逻辑非常直接：遍历SELECT后最外层的投影列，跳过所有被SUM/COUNT/AVG/MAX/MIN等聚合函数直接包裹的列，剩下的列按出现顺序从1开始编号，拼接到GROUP BY子句后即可。

具体实现路径 #

根据你要处理的SQL复杂度选对应方案就行：

轻量场景：JavaScript UDF实现 #

如果平时写的都是简单单表/关联查询，没有多层嵌套CTE、子查询，直接用JS写个文本替换UDF就行，不需要额外依赖：

• 第一步：写工具函数拆分SQL段，把SELECT到FROM之间的投影列段单独切出来，切分的时候要跳过注释、字符串常量里的SELECT/FROM关键字，避免切错位置。
• 第二步：写括号匹配逻辑，按逗号拆分投影列的时候，要跳过括号内部的逗号，避免把一个函数参数里的逗号当成列分隔符。
• 第三步：逐列判断是不是聚合列：检测列的开头是不是常见聚合函数名，配合括号匹配逻辑确认聚合函数的包裹范围，被包裹的列直接跳过，剩下的列记录序号。
• 第四步：把收集到的序号拼接成逗号分隔的串，替换原始SQL里你自定义的占位符（比如GROUP BY AUTO），返回补全后的SQL。

核心代码骨架参考：

CREATE OR REPLACE FUNCTION AUTO_GROUP_BY(sql_text STRING)
RETURNS STRING
LANGUAGE JAVASCRIPT
AS
$$
  // 预置常见聚合函数集合，可根据自己的使用习惯补充
  const AGG_FUNCS = new Set(['SUM','COUNT','AVG','MAX','MIN','MEDIAN','APPROX_COUNT_DISTINCT','STDDEV']);
  
  // 省略三个工具函数的具体实现：
  // 1. extractSelectPart: 从原始SQL中切出SELECT到FROM之间的投影列文本，自动跳过注释、字符串内的关键字
  // 2. splitColumns: 按逗号拆分投影列，自动跳过括号、字符串内的逗号，返回列数组
  // 3. isAggColumn: 传入单列文本，判断是否被聚合函数直接包裹
  
  const selectCols = splitColumns(extractSelectPart(sql_text));
  const groupByPos = [];
  selectCols.forEach((col, idx) => {
    if (!isAggColumn(col, AGG_FUNCS)) groupByPos.push(idx + 1);
  });

  // 替换自定义占位符，返回最终SQL
  return sql_text.replace(/GROUP\s+BY\s+AUTO/i, `GROUP BY ${groupByPos.join(', ')}`);
$$;

使用的时候直接套一层就行：

-- 先拿到补全后的SQL
SELECT AUTO_GROUP_BY(`
SELECT 
  dt,
  region,
  product_id,
  sum(sales) as total_sales,
  count(distinct user_id) as uv
FROM orders
GROUP BY AUTO
`) as generated_sql;
-- 复制返回的generated_sql执行即可，也可以配合存储过程直接执行

复杂场景：Python存储过程+SQL解析实现 #

如果经常写带CTE、多层嵌套子查询、窗口函数的复杂SQL，用正则和文本匹配很容易误判，直接用Snowflake的Python存储过程，内置纯Python实现的sqlparse库做AST语法树解析，准确率会高很多：

• 用sqlparse把输入SQL解析成语法树，定位到最外层SELECT语句的投影节点
• 遍历每个投影节点，过滤掉聚合函数节点、窗口函数节点，剩下的节点按顺序记录位置
• 生成GROUP BY子句替换占位符，还可以加一步EXPLAIN校验，确认生成的SQL语法合法再返回

实操避坑建议 #

• 一定要加显式占位符，不要做无差别自动替换：很多临时查数的场景本来就不需要严格分组，或者需要自定义分组列，只有写了GROUP BY AUTO的时候才触发替换，避免误改SQL造成结果错误。
• 特殊场景提前做拦截：遇到SELECT *、列里存在未闭合括号、嵌套层级过深解析不准的情况，直接抛出明确错误提示，不要硬生成错误的SQL。
• 不用纠结性能：这类UDF/存储过程只做文本/语法树解析，单次调用耗时基本在毫秒级，完全不会影响查询本身的执行效率。
• 可以根据自己的使用习惯扩展规则：比如自动跳过开头是常量的列、自动识别HAVING子句里用到的维度列做校验，适配自己的写SQL习惯。

内容的提问来源于stack exchange，提问作者Billy Zhao