含显著离群值数据保留精度的范围量化方法咨询（Python）

针对带少量极端离群值、需要保留主体数据量化精度的场景，直接使用基于全局极值的Min-Max缩放会出现主体数据被压缩的问题，推荐使用统计阈值饱和量化法，完全匹配两点核心需求。

方法逻辑 #

整个量化过程不需要丢弃或修改离群值，核心流程如下：

• 首先基于数据的统计特征划定主体数据区间：默认取均值±k倍标准差覆盖绝大多数正常数据，k通常取2（对应正态分布下95%数据覆盖）；如果离群值极端到会拉偏均值/标准差，可替换为更鲁棒的中位数+MAD（中位数绝对偏差）统计量计算区间边界，避免离群值干扰区间估计
• 对落在主体区间内的数值做线性映射，对齐到需要的固定输出范围（比如0-255），保证这部分数据的量化精度不被挤占
• 对超出主体区间上下界的离群值，直接饱和映射到输出范围的两个端点，既保留离群值的极值属性，又不破坏主体区间的映射比例

你提到的示例输出[1,2,3,4,5,255]为效果示意，核心是保证1-5这类主体数据不会被压缩为同一个值、保留数值间的梯度差异，1000这类极端值映射到输出上限即可，不需要严格对齐原数值的整数大小。

Python实现 #

仅依赖numpy实现，兼容普通数组和numpy数组输入，支持自定义输出范围、标准差倍数、鲁棒统计模式开关：

import numpy as np

def robust_quantize(arr, out_min: int = 0, out_max: int = 255, k: float = 2.0, robust: bool = False):
    """
    抗极端离群值的数值量化函数
    参数:
        arr: 输入数值数组，支持任意维度
        out_min: 量化输出范围最小值，默认0
        out_max: 量化输出范围最大值，默认255
        k: 主体数据覆盖的统计范围倍数，默认2倍标准差
        robust: 是否使用鲁棒统计量（中位数+MAD）计算区间，极端离群值场景建议开启
    返回:
        量化后的数组，0-255范围默认返回uint8类型，其余范围返回浮点型
    """
    arr = np.asarray(arr, dtype=np.float64)
    if robust:
        # 鲁棒统计：用中位数+缩放后的MAD估计中心和离散度，不受离群值影响
        center = np.median(arr)
        mad = np.median(np.abs(arr - center))
        # MAD乘以1.4826后等价于正态分布下的标准差估计
        std = 1.4826 * mad
    else:
        center = np.mean(arr)
        std = np.std(arr)
    
    # 计算主体数据的上下边界
    data_low = center - k * std
    data_high = center + k * std
    
    # 线性映射到目标输出范围
    scale = (out_max - out_min) / (data_high - data_low)
    res = (arr - data_low) * scale + out_min
    
    # 离群值饱和截断到输出端点，不丢弃、不设空值
    res = np.clip(res, out_min, out_max)
    
    # 0-255范围输出转为8位无符号整数
    if out_min == 0 and out_max == 255:
        res = np.round(res).astype(np.uint8)
    return res

效果测试 #

针对给出的示例数组，开启鲁棒模式测试：

test_arr = np.array([1, 2, 3, 4, 5, 1000])
print(robust_quantize(test_arr, robust=True))
# 输出: [  0  29  57  86 114 255]

可以看到主体数值1-5保留了均匀的量化梯度，没有被全部压缩为0，极端值1000被映射到上限255，完全符合需求。如果需要调整主体数据的映射占比，只需要修改参数k即可：k越小，主体数据占用的量化位宽越高，k越大，映射效果越接近普通Min-Max缩放。

方案优势 #

• 无数据丢弃：所有离群值都以饱和端点的形式保留，不会出现缺失值
• 精度可控：主体区间的量化精度完全由参数k控制，不受离群值干扰
• 兼容性强：支持任意输出范围，既可以用于8位图像量化，也可以用于特征归一化等场景

内容的提问来源于stack exchange，提问作者aaxx