Pandas按Category、Gender分组基于IQR移除离群值的实现与报错解决

报错根因 #

抛出TypeError: bad operand type for unary ~: 'tuple'的核心原因是原有groupby.apply逻辑的返回值为元组类型（常见场景是函数内直接返回计算得到的IQR上下限数值，而非可进行位运算的布尔掩码），后续对返回值做取反操作时，~运算符仅支持作用于布尔序列/数值数组，无法对元组类型执行运算，因此触发类型错误。

典型的错误写法为函数返回IQR上下限的元组，而非布尔掩码，后续代码直接对这个元组执行取反操作，就会触发当前报错。

正确的离群值过滤实现 #

1. 适配分组场景的IQR判定函数 #

函数需要针对传入的单个分组数据，返回与分组行索引完全对齐的布尔保留标识，保证两个数值列同时落在IQR非离群范围时才标记为保留：

import pandas as pd
def keep_non_outlier(group_df):
    # 初始化所有行默认标记为保留
    keep_flag = pd.Series(True, index=group_df.index)
    # 逐列计算IQR非离群范围，叠加判定条件
    for value_col in ["Value1", "Value2"]:
        q1 = group_df[value_col].quantile(0.25)
        q3 = group_df[value_col].quantile(0.75)
        iqr = q3 - q1
        lower = q1 - 1.5 * iqr
        upper = q3 + 1.5 * iqr
        keep_flag = keep_flag & group_df[value_col].between(lower, upper)
    return keep_flag

2. 全表过滤逻辑 #

调用分组apply时关闭group_keys参数，避免返回结果拼接多层索引，直接生成可映射回原DataFrame的布尔掩码：

# 按Category、Gender双维度生成全范围保留掩码
keep_mask = df.groupby(["Category", "Gender"], group_keys=False).apply(keep_non_outlier)
# 执行过滤，仅保留两个数值列均为非离群的行
filtered_df = df[keep_mask]

注意：此处直接使用函数返回的保留掩码，无需额外执行取反操作，从根源上避免对非布尔类型结果做位运算的报错。

每个Category的离群移除数量统计 #

通过对比过滤前后的分组行数差值，可快速计算各分类下被移除的离群值规模，无需逐行遍历判定：

# 聚合计算各分组的原始行数、剩余行数
group_compare = pd.concat(
    [df.groupby("Category").size().rename("原始总行数"),
     filtered_df.groupby("Category").size().rename("过滤后剩余行数")],
    axis=1
).fillna(0)  # 处理某类全量被过滤的边界情况
# 计算被移除的离群值总数
group_compare["被移除离群值数量"] = group_compare["原始总行数"] - group_compare["过滤后剩余行数"]

常见避坑提示 #

• 分组apply的逻辑仅基于传入的分组局部数据计算，不要在函数内引用全局df数据，避免计算逻辑错位
• 若需后续排查被过滤的离群值样本，可直接将掩码作为新列写入原df，快速筛选所有被移除的行：

  df["is_kept"] = keep_mask
  removed_outliers = df[~df["is_kept"]]
  

• 该分组计算逻辑可直接适配数千行规模的业务数据，运行效率远高于逐循环遍历分组的实现方式

内容的提问来源于stack exchange，提问作者RGRGRG