离群值分析及箱线图实操:58变量数据集的方法选型与全列绘图咨询
箱线图全变量展示配置方案
58个变量直接堆叠在单轴箱线图会完全挤压变形,需通过分面布局、调整画布尺寸、优化刻度显示三类配置实现清晰展示,以下是可直接复用的实现代码:
前置准备
先导入依赖库、筛选适合绘制箱线图的连续型数值变量:
import pandas as pd import matplotlib.pyplot as plt import seaborn as sns # 筛选所有数值型变量,自动剔除字符串、日期类字段 numeric_cols = train_1.select_dtypes(include=['number']).columns.tolist()
方案1:快速出图(pandas原生实现)
自动计算分面布局,适合批量快速预览:
# 按每行6个子图排列,自动计算行数 n_cols = 6 n_rows = (len(numeric_cols) + n_cols - 1) // n_cols # 按子图数量自适应画布大小 fig, axes = plt.subplots(n_rows, n_cols, figsize=(n_cols*4, n_rows*3)) axes = axes.flatten() # 遍历绘制箱线图 for i, col in enumerate(numeric_cols): train_1.boxplot(column=col, ax=axes[i]) axes[i].tick_params(axis='x', rotation=45) # 隐藏多余的空轴 for j in range(i+1, len(axes)): axes[j].set_visible(False) plt.tight_layout() plt.show()
方案2:统一配色出图(seaborn实现)
适合需要统一视觉风格、做后续展示的场景:
# 把宽表转成长表,用于分面绘制 train_1_melt = train_1.melt(value_vars=numeric_cols) g = sns.FacetGrid(train_1_melt, col="variable", col_wrap=6, height=3, sharey=False) g.map(sns.boxplot, "value", orient="h") g.fig.tight_layout() plt.show()
注意:如果数值列中混有0/1编码的布尔型字段、离散度小于5的分类字段,建议先从
numeric_cols中剔除,这类字段的箱线图无分析意义,会无效占用画布空间。
离群值分析方法选型规则
直接对照数据分布特征、业务边界两个维度选择即可,无需死记公式:
各方法适用场景
- z-score法:仅适用于服从正态分布的连续型数值特征,要求样本量大于1000条,默认阈值±3对应99.7%置信区间。如果数据偏态严重,或是离群值已经拉偏均值、标准差,计算结果会完全失真。你当前处理的
MonthlyRevenue字段可先通过train_1['MonthlyRevenue'].skew()校验偏度,偏度绝对值大于1时不适用该方法。 - 硬边界法:完全依赖业务规则判定异常,比如月收入不可能低于0、通话时长不可能为负、流量使用量不可能超过套餐上限。适合有明确业务边界的字段,判定优先级高于统计方法。
- IQR法(四分位距法):无分布假设要求,对偏态分布、含极端值的连续特征适配性远高于z-score。阈值区间为
[Q1-1.5*IQR, Q3+1.5*IQR],超出区间的即为离群值,对电信类偏态分布的用户行为字段(如月消费、流量使用量)适配性最优。
选型避坑
- 仅对连续型数值字段做离群值分析,布尔型、类别编码型、低离散度字段无需做离群值处理。
- 离群值不要默认替换或删除,需先校验是否为真实有效样本(如高价值VIP用户的月消费属于正常业务范围,强行替换会损失有效信息)。
内容的提问来源于stack exchange,提问作者Leyla Tulu
相关产品推荐
相关产品推荐

