Pandas按ID和年度分组时如何补全各客户ID的缺失年份聚合行
实现方案
核心逻辑是pandas的groupby默认仅返回存在交易记录的「客户-年份」分组组合,要实现全量覆盖,需要先构造所有客户和目标年份的全量交叉基准表,再匹配聚合后的销售额即可,具体步骤如下:
步骤1:修正原有代码的基础问题
最初的筛选代码存在变量名错误、语法缺失的问题,先修正为:
# 先筛选目标年份的有效交易数据(原代码漏写了右括号、字段名写错) filtered_invoices = invoices[invoices['invoice_year'].isin([2018,2019,2020])].copy()
步骤2:生成全量客户-年份基准表
提取所有需要覆盖的客户ID和目标年份,做笛卡尔积交叉,得到包含所有待输出行的基础框架:
# 配置参数:目标统计年份、所有需要覆盖的客户ID(可替换为自定义的客户列表) target_years = [2018, 2019, 2020] all_customer_ids = invoices['id'].unique() # 生成全量交叉组合,得到只有id、invoice_year两个字段的基准表 base_frame = pd.MultiIndex.from_product( [all_customer_ids, target_years], names=['id', 'invoice_year'] ).to_frame(index=False)
步骤3:聚合交易数据并匹配到基准表
先按客户、年份聚合销售额,再用左连接的方式把销售额匹配到基准表上,没有交易记录的行的销售额会自动填充为NaN:
# 按客户、年度聚合销售额 agg_sales = filtered_invoices.groupby( ['id', 'invoice_year'], as_index=False )['sales'].sum() # 左连接匹配销售额,无交易的行sales自动为NaN final_result = base_frame.merge( agg_sales, on=['id', 'invoice_year'], how='left' ).sort_values(['id', 'invoice_year']).reset_index(drop=True)
补充说明
- 如果原始数据没有预先生成
invoice_year字段,需要从invoice_date提取的话,可以在聚合前加一行:
# 从交易日期提取年份,适配分组逻辑 filtered_invoices['invoice_year'] = filtered_invoices['invoice_date'].dt.year
- 如果偏好沿用最初的
pd.Grouper时间分组写法,可以把聚合步骤替换为:
# 按年度时间分组(pandas 2.0+版本请把freq='Y'改为freq='YE') agg_sales = filtered_invoices.groupby( ['id', pd.Grouper(key='invoice_date', freq='Y')] )['sales'].sum().reset_index() # 把时间分组的年末日期转成年份数值,方便匹配基准表 agg_sales['invoice_year'] = agg_sales['invoice_date'].dt.year # 删除多余的日期列 agg_sales = agg_sales.drop(columns=['invoice_date'])
内容的提问来源于stack exchange,提问作者WolVes
相关产品推荐
相关产品推荐

