从Pandas DataFrame分组列中剔除偏离组均值1标准差的行

要实现按state分组，剔除每个组内price超出均值±1倍标准差的记录，核心是让每一行都能匹配到对应分组的统计量后再做筛选。直接用groupby.describe()只能拿到分组统计结果，没法直接关联到原数据的每一行，这也是你之前处理后仍存在异常值的原因。

具体实现步骤： #

• 用groupby.transform()计算每个分组的均值和标准差，生成和原DataFrame同长度的列，确保每行都能对应到所在组的统计值
• 通过布尔索引筛选出符合条件的行

代码示例： #

import pandas as pd
import numpy as np

# 构造示例数据
data = {
    'state': ['CA', 'CA', 'CA', 'NY', 'NY', 'NY', 'TX', 'TX', 'TX'],
    'price': [10, 12, 30, 20, 22, 50, 15, 17, 40]
}
df = pd.DataFrame(data)

# 计算每个state分组的均值和标准差，生成对应列
df['group_mean'] = df.groupby('state')['price'].transform('mean')
df['group_std'] = df.groupby('state')['price'].transform('std')

# 筛选price在均值±1倍标准差范围内的行
filtered_df = df[(df['price'] >= df['group_mean'] - df['group_std']) & 
                 (df['price'] <= df['group_mean'] + df['group_std'])]

# 可选：删除临时生成的统计列
filtered_df = filtered_df.drop(['group_mean', 'group_std'], axis=1)

print(filtered_df)

代码说明： #

• transform('mean')和transform('std')会将每个分组的统计结果复制到该组的每一行，让每一行都能拿到自己所在组的均值和标准差
• 布尔索引(df['price'] >= ...) & (df['price'] <= ...)精准筛选出符合范围的记录
• 最后可删除临时列，得到干净的目标数据集

内容的提问来源于stack exchange，提问作者Deux