如何使用Python(优选pandas)实现指定SQL逻辑的DataFrame分组聚合?
Pandas 对应SQL分组聚合实现逻辑
前置必要步骤
- 需先将输入DataFrame的
txn_date字段转换为Pandas可识别的日期格式,否则无法提取交易年份做条件判断,转换代码:df['txn_date'] = pd.to_datetime(df['txn_date']) - 输入DataFrame自带的
sub region字段不参与本次分组、聚合计算,最终输出结果不会包含该字段。
核心可运行代码
通用基础版本
该版本完全对齐SQL的case when判断逻辑,适配所有规模的DataFrame:
import pandas as pd # 按geo、region分组聚合,as_index=False保证分组字段保留为普通列,不变成索引 result_df = ( df.groupby(['geo', 'region'], as_index=False) .agg( ytd_rev=('revenue', lambda grp: df.loc[grp.index][df.loc[grp.index, 'txn_date'].dt.year >= 2020]['revenue'].sum()), py_ytd_rev=('revenue', lambda grp: df.loc[grp.index][df.loc[grp.index, 'txn_date'].dt.year == 2019]['revenue'].sum()), total_profit=('profit', 'sum') ) )
大表优化版本
针对百万行以上规模的大体积DataFrame,提前提取交易年份字段,减少逐组计算的开销,性能更高:
# 提前提取交易年份作为临时计算列 df['txn_year'] = df['txn_date'].dt.year result_df = ( df.groupby(['geo', 'region'], as_index=False) .agg( ytd_rev=('revenue', lambda grp: grp[df.loc[grp.index, 'txn_year'] >= 2020].sum()), py_ytd_rev=('revenue', lambda grp: grp[df.loc[grp.index, 'txn_year'] == 2019].sum()), total_profit=('profit', 'sum') ) ) # 删除计算过程产生的临时字段,不修改原始输入DataFrame的结构 df.drop(columns=['txn_year'], inplace=True)
逻辑对齐说明
- 聚合计算和SQL逻辑完全等价:仅对满足年份条件的revenue值求和,不满足条件的记录不计入累加,效果和SQL中
case when...else 0的计算结果完全一致,无数值偏差 - 分组逻辑和SQL的
group by 1,2完全一致,仅按geo、region两个维度聚合 - 最终输出的DataFrame字段完全匹配要求:
geo、region、ytd_rev、py_ytd_rev、total_profit
内容的提问来源于stack exchange,提问作者Aadil Rafeeque
相关产品推荐
相关产品推荐

