如何识别与处理数据集中的噪声观测值？

问卷不实提交、变量测量误差、图像携带噪声这类问题是训练数据准备阶段最常见的干扰项，这类噪声确实会让模型学到错误关联、掩盖真实数据规律，但处理的时候别上来就盲目删数，很容易把有价值的稀有样本误删，按下面的流程处理即可：

第一步：先做噪声分类与初筛 #

• 先把碰到的噪声归成三类，对应不同处理逻辑：标签噪声（比如问卷乱填的错误选项、图像标错类别）、特征噪声（比如传感器读数偏差、图像的高斯/椒盐噪声、问卷填的虚假个人信息）、无效样本（比如答题时长不足3秒的问卷、全黑全白的纯色图像）
• 先跑规则初筛，这一步成本最低准确率最高：
  • 结构化数据（问卷、传感器数据）先过业务规则：比如年龄超出0-120岁合理区间、答题时长不到平均答题时长1/3、连续10道以上题选同一选项的问卷，直接标记为可疑
  • 非结构化数据（图像、文本）先过有效性校验：图像像素方差低于阈值（纯色、全黑全白）、文本是随机乱码/重复无意义字符的，直接标记为可疑
  • 已知测量误差的变量先单独标记：比如明确知道某款传感器在高温下读数固定偏高20%，先记下来后续做校正，不要直接删对应样本
• 无明确规则的可疑样本用离群检测找：结构化数据用孤立森林、DBSCAN聚类，把和整体分布距离过远的点标出来；图像、文本可以先用通用预训练模型提特征，再做聚类找离群簇，簇内样本单独标记待复核

第二步：分场景处理，不要一删了之 #

• 调研问卷类不实回答处理：
  • 提前埋了注意力校验题（比如“本题请选非常不同意”）的，答错的样本直接移除
  • 存在明确逻辑矛盾的样本直接移除：比如填了“从未用过该产品”却给产品打了满分满意度的，属于明显乱填
  • 注意别把真实的离群回答当噪声删：比如确实收入远高于平均水平的用户提交的有效问卷，不能因为数值离群就删，要结合答题逻辑、开放题填写内容判断真实性
• 带测量误差的结构化数据处理：
  • 已知误差规律的直接校正，不用删样本：比如明确知道测量值和真实值的固定偏差，直接用公式校正值 = (原始测量值 - 固定偏移量) / 偏差系数修正即可
  • 无偏随机测量误差不用特意删：这类噪声不会让模型学偏，优先用特征平滑、降维的方式削弱影响就行，只有误差幅度大到明显违背变量物理意义的样本才需要移除
• 带噪声的图像数据处理：
  • 可修复的噪声优先修复不删数：比如高斯噪声、椒盐噪声这类常见噪声，用高斯滤波、中值滤波或者轻量去噪模型就能处理，没必要删样本
  • 只有完全无效的图像才移除：比如内容和标注完全无关、模糊到识别不出主体、全黑全白无有效信息的，直接删掉就行

清洗阶段的关键注意事项 #

• 所有待删除样本一定要做抽样复核，尤其是离群检测打标的样本，很多时候你以为的“噪声”其实是长尾稀有类样本，误删这些样本会直接导致模型在长尾场景下完全失效
• 清洗过程必须留日志，记录每一条被删样本的判定规则、删除原因，后续模型效果出问题的时候可以快速回溯是不是清洗阶段误操作导致的
• 别追求100%无噪声的“完美训练集”：少量无偏的随机噪声反而能提升模型鲁棒性，过度清洗会让训练集和真实场景的分布脱节，反而降低模型泛化能力

内容的提问来源于stack exchange，提问作者MinxinLu