基于百分比的异常值检测类多异常值场景失效问题求助

你的核心问题在于用平均值作为基准值——平均值对极端异常值的鲁棒性极差，当数据里有两个及以上高值异常时，平均值会被大幅拉高，导致所有正常数据的百分比差异都超过阈值，完全失效。

下面给你几个可直接落地的PHP实现方案，替代原来的百分比差异方法：

方案1：IQR（四分位距）算法实现 #

IQR是工业界常用的稳健异常值检测方法，完全不受极端值影响，步骤很简单：

1. 对数据集排序
2. 计算上四分位数（Q3，数据前75%的分界点）和下四分位数（Q1，数据前25%的分界点）
3. 计算四分位距IQR = Q3 - Q1
4. 异常值范围：低于Q1 - 1.5IQR 或 高于Q3 + 1.5IQR

PHP实现代码：

class IQROutlierDetector {
    public static function detect(array $data): array {
        if (count($data) < 4) {
            return []; // 数据量太小，不适合IQR检测
        }
        
        sort($data);
        $count = count($data);
        $q1Index = floor($count * 0.25);
        $q3Index = floor($count * 0.75);
        
        $q1 = $data[$q1Index];
        $q3 = $data[$q3Index];
        $iqr = $q3 - $q1;
        
        $lowerBound = $q1 - 1.5 * $iqr;
        $upperBound = $q3 + 1.5 * $iqr;
        
        $outliers = [];
        foreach ($data as $value) {
            if ($value < $lowerBound || $value > $upperBound) {
                $outliers[] = $value;
            }
        }
        
        return $outliers;
    }
}

// 测试示例：包含两个异常值的数据集
$data = [10, 12, 11, 9, 13, 99, 101];
print_r(IQROutlierDetector::detect($data)); // 输出 [99, 101]

方案2：中位数绝对偏差（MAD） #

如果想保留“基于基准值的偏差”思路，用中位数代替平均值，再搭配MAD计算阈值，鲁棒性极强：

1. 计算数据集的中位数
2. 计算每个数据点与中位数的绝对偏差
3. 计算这些绝对偏差的中位数（即MAD）
4. 异常值阈值：中位数 ± 3*MAD（3是常用系数，可调整）

PHP实现代码：

class MADOutlierDetector {
    public static function detect(array $data): array {
        if (empty($data)) {
            return [];
        }
        
        // 计算中位数
        sort($data);
        $count = count($data);
        $mid = floor($count / 2);
        $median = $count % 2 === 1 ? $data[$mid] : ($data[$mid - 1] + $data[$mid]) / 2;
        
        // 计算每个值与中位数的绝对偏差
        $deviations = array_map(function($value) use ($median) {
            return abs($value - $median);
        }, $data);
        
        // 计算MAD（偏差的中位数）
        sort($deviations);
        $devCount = count($deviations);
        $devMid = floor($devCount / 2);
        $mad = $devCount % 2 === 1 ? $deviations[$devMid] : ($deviations[$devMid - 1] + $deviations[$devMid]) / 2;
        
        // 异常值阈值（常用3倍MAD）
        $lowerBound = $median - 3 * $mad;
        $upperBound = $median + 3 * $mad;
        
        $outliers = [];
        foreach ($data as $value) {
            if ($value < $lowerBound || $value > $upperBound) {
                $outliers[] = $value;
            }
        }
        
        return $outliers;
    }
}

// 测试示例
$data = [10, 12, 11, 9, 13, 99, 101];
print_r(MADOutlierDetector::detect($data)); // 输出 [99, 101]

方案3：改进原有的百分比差异方法 #

如果你想保留原类的逻辑，只需要把平均值换成中位数，就能避免异常值拉偏基准的问题：

class ImprovedPercentageOutlier {
    private $threshold = 10; // 百分比阈值，可调整
    
    public function __construct(int $threshold = 10) {
        $this->threshold = $threshold;
    }
    
    public function detect(array $data): array {
        if (empty($data)) {
            return [];
        }
        
        // 用中位数代替平均值
        sort($data);
        $count = count($data);
        $mid = floor($count / 2);
        $baseline = $count % 2 === 1 ? $data[$mid] : ($data[$mid - 1] + $data[$mid]) / 2;
        
        $outliers = [];
        foreach ($data as $value) {
            $percentageDiff = abs(($value - $baseline) / $baseline) * 100;
            if ($percentageDiff > $this->threshold) {
                $outliers[] = $value;
            }
        }
        
        return $outliers;
    }
}

// 测试示例
$data = [10, 12, 11, 9, 13, 99, 101];
$detector = new ImprovedPercentageOutlier(10);
print_r($detector->detect($data)); // 输出 [99, 101]

关于LOF的说明 #

LOF（局部离群因子）是基于密度的异常值检测，适合复杂分布的数据集，但实现起来相对复杂，需要计算每个点的k近邻、可达距离等。如果你的数据集是简单的数值型且分布相对规整，上面的IQR或MAD完全够用，没必要折腾LOF。如果确实需要LOF，可以基于暴力搜索实现小数据集的检测，但代码量较大，优先级低于前面两种方法。

内容的提问来源于stack exchange，提问作者ii iml0sto1