数据管道验证器如何检查NaN、Inf、None等数值异常及优化方案？

一、检测NaN/Inf/null的现成函数 #

不同技术栈都有内置工具可以直接用，举几个常用场景：

• Python（Pandas/Numpy）：
  • 检测NaN和null：pd.isna() 或 np.isnan()，能同时覆盖这两种空值情况
  • 检测正负无穷：np.isinf()，细分的话np.isneginf()、np.isposinf()可以分别检测负无穷和正无穷
  • 批量检查：直接用df.isin([np.nan, np.inf, -np.inf])就能快速定位数据框里的异常值
• SQL：
  • 检测null：用IS NULL关键字
  • 检测NaN/Inf：不同数据库语法有差异，比如PostgreSQL用IS NOT FINITE(col)，MySQL可以直接判断col = 'NaN' OR col = 'Inf' OR col = '-Inf'
• Spark：
  • 检测null/NaN：isNull()、isNaN()方法
  • 检测无穷值：isInfinite()方法

二、其他需要检查的异常值 #

除了NaN/Inf/null，这些情况也得留意：

• 类型不匹配：比如数值字段里混了字符串（像"123x"这种），看起来像数字但实际无法转成数值类型
• 业务逻辑异常值：比如年龄出现负数、超过150，或者订单金额出现负数，这类数值本身是合法数字，但完全不符合业务规则
• 批量异常值：某字段突然出现大量相同的极端值（比如全是999999），很大概率是上游数据同步出错了
• 精度异常：比如要求保留两位小数的字段出现了十位小数，或者用科学计数法存储但业务场景不允许的情况

三、数值区间验证的优化方法 #

固定区间[-10,10]只适合特定场景，更灵活合理的方式有这些：

• 贴合业务规则定区间：比如温度字段设[-40, 50]，年龄设[0, 120]，完全匹配业务场景的区间才是有效的
• 用统计数据动态划范围：拿上游历史数据计算分位数（比如99.9%分位数），把超出这个范围的标记为异常，适合没有明确业务边界的场景
• 做可配置的阈值：别把区间硬编码在代码里，做成可配置的参数，后续业务变化时不用改代码就能调整
• 结合上下文验证：比如用户月度消费，不能只看固定区间，要对比该用户的历史消费均值，突然出现10倍于均值的数值就算异常

内容的提问来源于stack exchange，提问作者leoJ