测量数据的异常定义探讨及数据库异常研究的核心问询问题

一、异常≠离群值：你的理解没有偏差 #

你举的身高例子非常准确：

身高最高的个体（z-score>3）是统计意义上的离群值，但数据本身是真实有效的，不属于异常；而处于平均水平但测量错误的数值，哪怕落在正常分布区间内，也属于异常。

本质上，离群值是数据统计分布中的极端值，它可以是真实存在的正常数据；而异常是不符合业务逻辑、数据生成规则或上下文的错误值，和它在统计分布中的位置无关。

二、定义异常时必须明确的关键问题 #

在研究数据库异常时，别着急先找算法，先把这些问题搞清楚：

• 数据是否符合业务场景的真实逻辑？比如人类身高不可能是负数，也不可能超过3米，哪怕这类数值的z-score没超过阈值，也属于异常。
• 数据的生成流程是否存在故障？比如传感器故障、人工录入错误、系统bug导致的错误数值，哪怕数值落在正常分布区间内，只要是流程错误产生的，就是异常。
• 该数据的“异常”是否会影响后续分析或业务决策？比如付费业务中出现的0金额订单，可能是异常；但免费服务的0金额就是正常数据。
• 我们关注的异常类型是什么？是数据质量异常（如格式错误、值缺失），还是业务行为异常（如欺诈交易、异常操作）？不同类型的异常定义逻辑完全不同。
• 数据的上下文是否合理？比如同一用户的身高今天记录为170cm，明天突然变成190cm，两次数值都在正常区间，但结合上下文就是异常。

总结来说，异常的定义不能只依赖统计算法，必须结合业务场景、数据生成链路和上下文信息，这是异常研究的核心前提。

内容的提问来源于stack exchange，提问作者Ward Wielockx