如何按日期反转Pandas多级索引DataFrame矩阵？

你提到的需求非常明确——要对多级索引中每个日期对应的子矩阵计算伪逆，直接对整个DataFrame求伪逆确实会把所有数据当成一个大矩阵处理，完全不符合预期。这里推荐用Pandas的split-apply-combine模式，这是处理这类分组运算最优雅高效的方式，比手动循环要简洁且性能更优。

先明确需求对应的子矩阵结构 #

你的dforig是(date, river)的多级索引，每个date下有2条river数据（river=1和river=2），对应的子矩阵是2行×3列（RAND1、RAND2、RAND3）。我们需要对每个这样的2×3矩阵求伪逆，得到3×2的矩阵，再把结果重新组织成符合原索引结构的DataFrame。

具体实现步骤 #

1. 按date分组并定义伪逆处理函数 #

我们可以用groupby(level='date')来按日期分组，然后自定义一个函数，输入每个分组的子DataFrame，输出其伪逆的结构化结果：

def compute_pinv(group):
    # 计算子矩阵的伪逆
    pinv_matrix = np.linalg.pinv(group.values)
    # 伪逆的行对应原DataFrame的列，列对应原分组的行（即river索引）
    # 所以新的索引是原分组的columns，新的columns是原分组的river索引
    pinv_df = pd.DataFrame(
        pinv_matrix,
        index=group.columns,
        columns=group.index.get_level_values('river')
    )
    # 把date作为索引加回来，方便后续合并
    pinv_df['date'] = group.index.get_level_values('date')[0]
    pinv_df = pinv_df.set_index('date', append=True).swaplevel(0, 1)
    return pinv_df

2. 应用分组函数并合并结果 #

直接对分组后的对象应用上面的函数，然后用pd.concat合并所有结果：

dfinv = pd.concat([compute_pinv(g) for _, g in dforig.groupby(level='date')])

3. 验证结果合理性 #

比如取第一个日期的子矩阵验证：

# 取2017-01-01的子矩阵
sample_group = dforig.xs('2017-01-01', level='date')
# 手动计算伪逆
manual_pinv = np.linalg.pinv(sample_group.values)
# 和分组计算的结果对比
print(dfinv.xs('2017-01-01', level='date'))
print(manual_pinv)

两者的数值应该完全一致，说明实现正确。

性能对比：split-apply-combine vs 手动循环 #

• split-apply-combine：Pandas的groupby内部做了很多优化，代码更简洁易读，维护性强，适合数据量较大的场景。
• 手动循环：如果你的日期数量不多，手动循环逐个处理也能工作，但代码会更繁琐，且性能不如groupby优化后的实现。比如：

dfinv_list = []
for date in dforig.index.get_level_values('date').unique():
    group = dforig.xs(date, level='date')
    pinv_matrix = np.linalg.pinv(group.values)
    pinv_df = pd.DataFrame(
        pinv_matrix,
        index=group.columns,
        columns=group.index.get_level_values('river')
    )
    pinv_df['date'] = date
    pinv_df = pinv_df.set_index('date', append=True).swaplevel(0, 1)
    dfinv_list.append(pinv_df)
dfinv = pd.concat(dfinv_list)

这段代码和上面的groupby实现逻辑完全一致，但代码量更大，可读性稍差。

注意事项 #

• 确保每个日期对应的子矩阵形状一致（比如每个date下都是2行），如果有日期的子矩阵行数不一致，np.linalg.pinv仍能处理，但后续结构化时需要注意索引的对应关系。
• 伪逆的结果维度是原矩阵的转置维度（原m×n，伪逆n×m），所以在构建结果DataFrame时要注意索引和列的对应，避免混乱。

内容的提问来源于stack exchange，提问作者tdiddy