如何基于Pandas MultiIndex高效筛选并求和

针对你的需求，这里提供两种高效实现方式，核心思路是先快速筛选符合条件的行，再直接按目标索引分组求和，避免不必要的索引转换开销：

基础高效实现 #

直接利用MultiIndex的层级特性筛选，无需重置索引，性能最优：

import pandas as pd
import numpy as np

# 生成示例数据
index = pd.MultiIndex.from_product(
    [
        range(0, 0xff),
        range(0, 5000),
        range(1, 3),
    ], names=["flags", "time", "sensor"]
)

data = pd.DataFrame({
    "col1": np.random.uniform(size=len(index), low=0.0, high=0.5),
    "col2": np.random.uniform(size=len(index), low=0.0, high=0.5),
    "col3": np.random.uniform(size=len(index), low=0.0, high=0.5),
}, index=index)

# 定义你的筛选flag（示例值，按需修改）
flag_filter = 0b10

# 1. 按flags索引筛选符合条件的行
filtered_data = data[data.index.get_level_values("flags") & flag_filter != 0]

# 2. 按time和sensor分组，对指定列求和
result = filtered_data.groupby(["time", "sensor"])[["col1", "col2", "col3"]].sum()

# 验证结果结构
print(result.index.names)  # 输出: ['time', 'sensor']
print(result.columns)      # 输出: Index(['col1', 'col2', 'col3'], dtype='object')

进阶优化（适用于flags基数较小的场景） #

如果符合条件的flags值数量不多，可以先预筛选出所有有效flags，再用isin方法批量筛选，性能会更优：

# 预计算所有符合条件的flags值
valid_flags = [f for f in range(0, 0xff) if f & flag_filter != 0]

# 批量筛选符合条件的行
filtered_data = data[data.index.isin(valid_flags, level="flags")]

# 后续分组求和步骤和上面一致
result = filtered_data.groupby(["time", "sensor"])[["col1", "col2", "col3"]].sum()

关键优化点说明 #

• 避免使用reset_index转换索引后再筛选，直接操作MultiIndex层级能大幅减少数据拷贝开销。
• 分组时明确指定要聚合的列（[["col1", "col2", "col3"]]），比仅在sum中传列名更清晰，同时规避新版本pandas的FutureWarning。

内容的提问来源于stack exchange，提问作者Campadrenalin