周度日粒度登录数据随机抽样构造正态分布识别异常值可行性问询

结论：直接对每日指标做随机抽样、构造正态分布识别异常值的方法完全不适用，存在多个底层统计规则冲突会直接导致方案失效。

核心失效原因 #

• 指标天然不满足正态分布假设
  正态分布3σ之类的异常识别规则，前提是指标服从对称钟形的正态分布，但你用到的两个指标都不符合这个要求：
  • Total Login Attempts是典型的极度右偏重尾分布：绝大多数正常IP的日登录尝试次数处于极低区间，少量撞库、爬虫类欺诈IP的登录量会高出正常量级几个数量级，分布没有对称的钟形结构，硬拟合正态分布会出现大量漏判、误判：要么把尾部的真实欺诈流量当成正常波动漏掉，要么把合法的业务访问高峰错判成异常。比如你示例中1.256.xxx.xxx这个IP从日登录1000次跳到50000次的波动，在重尾分布下属于常规尾部特征，用正态分布阈值根本无法准确区分正常波动和欺诈行为。
  • Login Failure是取值范围在[0,1]的比例指标，和正态分布取值覆盖正负无穷的特性天然冲突，且失败率的置信度和总尝试次数强相关：2次登录失败1次得到的0.5失败率，和1000次登录失败500次的0.5失败率统计意义完全不同，混入同一样本集会带来系统性偏差。
• 样本独立性要求完全不满足
  你提到的时间序列分量不独立问题确实存在，而且影响极大：同一个IP的登录行为存在强时序自相关性，比如正常IP会呈现工作日登录量高、周末登录量低的周期规律，欺诈IP可能连续多日维持高请求量，相邻日期的指标值不是独立随机变量，不满足随机抽样构造分布的独立同分布前提，抽出来的样本构造出的分布本身就存在结构性偏差。
• 不同分组的行为基线混淆
  你的数据集主键是IP+日期，但不同属性IP的正常行为基线差异极大：企业出口IP可能承载数千员工的正常登录请求，日登录量数千次属于正常水平，个人家宽IP一天几十次登录就属于高位，把所有IP的指标混在一起抽样构造全局正态分布，本质是把不同基线的样本强行揉合，根本无法定义统一的“异常”阈值。

常见认知误区 #

不要误用中心极限定理作为该方案的理论支撑：中心极限定理描述的是独立同分布样本的均值趋近正态分布，而你要识别的是单个IP单日的原始指标异常，不是抽样样本均值的异常，二者适用场景完全不匹配。

内容的提问来源于stack exchange，提问作者Daniel Kennett