如何在Trino中用SQL实现替代Python的多索引分组权重计算？

需求说明 #

现有SQL查询输出以下字段：

• 位置编号：lct_nbr
• 财周结束日期：fsc_wk_end_dt
• 商品编号：itm_nbr
• 产品组编号：pg_nbr
• 数量求和：qty
• 本地时间戳：refresh_date

需要计算商品渗透率（权重）：按[lct_nbr, fsc_wk_end_dt, pg_nbr]分组，先计算每组的qty总和，再将组内每个itm_nbr的qty除以该总和。已通过Python代码实现该逻辑，现需要用Trino SQL替代，并对比性能。

对应的Trino SQL实现 #

利用Trino支持的窗口函数可以直接实现该逻辑，无需额外关联操作，代码如下：

SELECT
    lct_nbr,
    fsc_wk_end_dt,
    itm_nbr,
    pg_nbr,
    qty,
    refresh_date,
    -- 计算当前分组的qty总和
    SUM(qty) OVER (PARTITION BY lct_nbr, fsc_wk_end_dt, pg_nbr) AS total_qty,
    -- 计算权重（商品渗透率）
    qty / SUM(qty) OVER (PARTITION BY lct_nbr, fsc_wk_end_dt, pg_nbr) AS weight
FROM
    -- 替换为你的原始查询语句或表名
    your_source_table_or_query;

代码说明 #

• SUM(qty) OVER (PARTITION BY ...)：窗口函数会为每一行计算其所属[lct_nbr, fsc_wk_end_dt, pg_nbr]分组的qty总和，无需提前分组再关联。
• 直接通过qty / 分组总和得到权重，逻辑和你提供的Python代码完全一致。

性能对比：SQL vs Python #

直接用Trino SQL实现会显著更快，原因如下：

1. 数据传输成本：Python需要先把所有数据从数据库拉取到本地内存再计算，而SQL是在Trino集群端直接处理，避免了大量数据的网络传输。
2. 集群计算能力：Trino作为分布式SQL引擎，能利用集群多节点并行计算，处理大数据量时优势明显；Python单进程/单线程处理效率远低于集群。
3. 数据库优化：Trino会对查询做优化（如谓词下推、分区裁剪等），减少不必要的数据扫描，而Python代码无法利用这些数据库层面的优化。

内容的提问来源于stack exchange，提问作者becs