无监督低计算量自动剔除数据集视觉空白图像的方法咨询

1. 替换原有逐像素循环，将平滑速度提升2个数量级 #

你当前手写的三重逐像素邻域均值计算完全可以用向量化的均匀滤波替代，不需要手动写循环，计算速度能提升100倍以上，直接复用你原本的7x7邻域平滑逻辑即可：

import numpy as np
from scipy.ndimage import uniform_filter
from scipy.stats import median_abs_deviation

# 加载数据
imgs = np.load("example.npy")
# 批量对所有图像做7x7邻域平滑，0轴为图像索引维度，不做平滑处理
smoothed_imgs = uniform_filter(imgs, size=(1, 7, 7))

2. 自适应无监督阈值过滤，无需逐数据集手动调参 #

固定σ²/μ（方差均值比，VMR）阈值适配性差的核心原因是不同批次化学成像数据的本底噪声、信号增益差异极大，全局固定阈值必然出现过删或漏删。以下两个方案均基于当前处理批次的数据分布自动计算阈值，计算开销极低，完全满足无监督要求：

方案一：基于VMR分布的鲁棒异常检测（优先选用，速度最快） #

空白图像和有效图像的VMR会自然形成两个分离的簇：空白图VMR集中在极低区间，有效图VMR显著更高。用鲁棒统计方法自动寻找分界点即可，逻辑如下：

• 批量计算当前批次所有图像的VMR值，避免逐图循环
• 用中位数绝对偏差（MAD）做异常检测，不受极端值影响，适配不同批次的数值分布
• 默认判定规则：VMR小于批次VMR中位数 - 3*MAD的图像判定为空白图剔除
• 如果当前批次空白图占比超过50%，直接对VMR做15个分箱的直方图，取前半段最小计数对应的分箱边界作为阈值，适配性更强

对应实现代码：

# 批量计算所有平滑图像的VMR
vmrs = (smoothed_imgs.std(axis=(1, 2)) ** 2) / smoothed_imgs.mean(axis=(1, 2))

# 常规场景：MAD自适应阈值
median_vmr = np.median(vmrs)
mad_vmr = median_abs_deviation(vmrs)
threshold = median_vmr - 3 * mad_vmr

# 空白图占比过高时替换为直方图谷底阈值
# counts, bins = np.histogram(vmrs, bins=15)
# threshold = bins[np.argmin(counts[:len(counts)//2]) + 1]

# 筛选保留有效图像
valid_mask = vmrs > threshold
valid_imgs = imgs[valid_mask]

方案二：基于边缘能量的过滤（抗噪性更强） #

如果个别批次数据脉冲噪声过多，VMR方案效果波动，可以换用边缘能量作为判定指标：空白图几乎无清晰结构，边缘响应极低；有明确目标的有效图像边缘响应会明显升高。阈值计算同样使用上述自适应逻辑，不需要手动调参：

from scipy.ndimage import sobel

# 批量计算每张图的边缘能量
edge_energy = np.zeros(len(imgs))
for idx, img in enumerate(smoothed_imgs):
    dx = sobel(img, axis=0)
    dy = sobel(img, axis=1)
    edge_energy[idx] = np.mean(dx**2 + dy**2)

# 同样用MAD自适应计算阈值
median_edge = np.median(edge_energy)
mad_edge = median_abs_deviation(edge_energy)
threshold = median_edge - 3 * mad_edge
valid_mask = edge_energy > threshold
valid_imgs = imgs[valid_mask]

效果说明 #

• 速度层面：所有计算均为numpy/scipy底层C实现的向量化操作，处理万张规模的数据集仅需数秒，相比原生Python逐像素循环效率提升百倍以上
• 通用层面：阈值完全基于当前批次数据分布自动生成，不需要针对不同数据集手动核查调整，符合完全无监督的要求
• 精度层面：两类方案都能准确区分仅含噪声的空白图像和有清晰可见结构的有效图像，相比固定阈值方案大幅降低过删、漏删概率。

内容的提问来源于stack exchange，提问作者Emerson H