Pandas多级索引下不补全缺失季度如何计算准确百分比变化

云原生阿岚

2026-8-28

问题描述

日常处理的DataFrame通常为3层及以上的MultiIndex结构，财季固定为最顶层索引，需求是在每个唯一索引分组内计算季度间百分比变化字段。常规实现方式为按除季度外的索引层级执行groupby后调用pd.pct_change()得到结果，但该方法存在明显缺陷：

仅当所有连续季度维度都存在对应值时计算结果准确：如果数据从2021Q1直接跳到2021Q4，必须为中间缺失的2021Q2、2021Q3填充值为0的行，否则2021Q4的百分比变化会被错误计算为2021Q4数值/2021Q1数值
全量补行性能极差：实际场景中MultiIndex每层有6至50个不等的唯一索引值，全量补全所有缺失组合的行会导致行数指数级增长，代码无法正常使用

核心诉求：在不补全索引下所有缺失季度行的前提下，基于MultiIndex结构计算得到准确的季度间百分比变化值

可复现示例

import pandas as pd
import numpy as np
import datetime as dt

idx = pd.MultiIndex.from_product(
    [['Canine', 'Feline'],
     ['Chihuahua','Samoyed','Shorthair'],
     [dt.datetime(2021,4,1), dt.datetime(2021,7,1), dt.datetime(2021,10,1), dt.datetime(2022,1,1)]],
    names=['species','breed','cyq']
)

data = pd.DataFrame(index=idx)
data.loc[:,'paid'] = np.random.randint(100,200,24)
correct_ex = data.drop([('Canine','Shorthair'),('Feline','Chihuahua'),('Feline','Samoyed')])
correct_ex.loc[('Canine','Samoyed',dt.datetime(2021,7,1)),'paid'] = 0
incorrect_ex = correct_ex.drop([('Canine','Samoyed',dt.datetime(2021,7,1))])

correct_ex.loc[:,'paid_change'] = correct_ex.groupby(['species','breed'])['paid'].pct_change()
correct_ex = correct_ex.drop([('Canine','Samoyed',dt.datetime(2021,7,1))])
incorrect_ex.loc[:,'paid_change'] = correct_ex.groupby(['species','breed'])['paid'].pct_change()

示例中correct_ex为补入0值行后计算得到的预期正确结果，incorrect_ex为未补行直接计算得到的错误结果，目标是无需补入0值行即可得到正确的百分比变化结果。

解决方案

不需要全量补全所有索引组合，核心逻辑是在每个分组内判断相邻存在记录的季度之间是否有间隔：如果间隔超过1个季度，说明中间存在缺失季度，上一期有效值按0处理即可，全程不需要生成任何冗余填充行。

实现代码如下：

def calc_quarterly_pct(group):
    # 组内按季度升序排列，避免乱序导致计算错误
    group = group.sort_index(level='cyq')
    # 计算相邻记录的季度间隔，自然季度按3个月/90天为间隔单位
    quarter_gap = group.index.get_level_values('cyq').to_series().diff().dt.days // 90
    # 间隔为1个季度时取真实上期值，否则上期值按0处理
    prev_value = group['paid'].shift(1).where(quarter_gap == 1, 0)
    # 计算百分比变化，结果和补0行后原生pct_change返回完全一致
    group['paid_change'] = (group['paid'] - prev_value) / prev_value
    return group

# 直接在未补行的原始数据集上计算
result = incorrect_ex.groupby(['species','breed'], group_keys=False).apply(calc_quarterly_pct)

该方案的核心优势：

无性能损耗：不需要补全任何缺失的季度组合，计算量和原数据集规模完全匹配，不会出现行数指数级膨胀的问题，适配每层数十个唯一值的大维度MultiIndex场景
结果完全对齐预期：计算结果和补0行后调用原生pct_change()的返回值100%一致
兼容性强：支持任意层数的MultiIndex结构，仅需调整groupby字段和季度间隔判定逻辑，即可适配不同的财季规则和索引设计

注意事项：

若使用的财季不是自然季度（比如财年从4月起始等），只需要调整quarter_gap的计算逻辑即可
当上一期值为0时计算结果为inf，和原生pct_change()的行为一致，若需要替换为缺失值或其他标识，可在计算完成后单独做映射处理

内容的提问来源于stack exchange，提问作者OldKingCole