图像异常检测最优自编码器：ReLU+MSE为何优于Sigmoid+BCE？

问题背景 #

我正在训练自编码器完成图像异常检测任务，基于解码器的重建误差判断图像是否异常。尝试过多种图像预处理方法、神经网络架构、损失函数、激活函数、图像归一化及数据增强方案后，发现最优模型采用ReLU激活函数+MSE损失，但这与我的直觉相悖——我原本认为解码器最后一层使用Sigmoid激活+二元交叉熵（BCE）损失会表现更好，切换后模型性能却大幅下降。特咨询：

1. 当前ReLU+MSE的方案是否合理？
2. 为何我的直觉有误？
3. 该如何调整以贴合任务标准？

数据集加载代码 #

# Loading the dataset
def load_and_preprocess_image(img_path, target_size=(256, 256)):
    img = image.load_img(img_path, target_size=target_size)#, color_mode='grayscale')
    img_array = image.img_to_array(img)
    img_array = np.expand_dims(img_array, axis=0)
    img_array = img_array / 255.0  # Scale pixel values
    return img_array

image_directory = 'images'
image_paths = [os.path.join(image_directory, img) for img in os.listdir(image_directory) if img in task_images0.StoragePath.to_list()]
img_size = 256
images = np.vstack([load_and_preprocess_image(img_path, target_size=(img_size, img_size)) for img_path in image_paths])

模型架构代码 #

# Model architecture
from tensorflow.keras.layers import Input, Conv2D, MaxPooling2D, UpSampling2D, Dropout
from tensorflow.keras.models import Model
from tensorflow.keras.regularizers import l2

# Define the level of L2 regularization
l2_reg = l2(0.01)
img_height, img_width = images[0].shape[:2]
channels = 3

input_img = Input(shape=(img_height, img_width, channels))

# Encoder
x = Conv2D(128, (3, 3), activation='relu', padding='same', kernel_regularizer=l2_reg)(input_img)
x = MaxPooling2D((2, 2), padding='same')(x)
x = Dropout(0.1)(x)  # Dropout layer
x = Conv2D(64, (3, 3), activation='relu', padding='same', kernel_regularizer=l2_reg)(x)
encoded = MaxPooling2D((2, 2), padding='same')(x)

# Decoder
x = Conv2D(64, (3, 3), activation='relu', padding='same', kernel_regularizer=l2_reg)(encoded)
x = UpSampling2D((2, 2))(x)
x = Dropout(0.1)(x)  # Dropout layer
x = Conv2D(128, (3, 3), activation='relu', padding='same', kernel_regularizer=l2_reg)(x)
x = UpSampling2D((2, 2))(x)
decoded = Conv2D(1, (3, 3), activation='relu', padding='same')(x)

模型训练代码 #

# Model training.

from tensorflow.keras.callbacks import EarlyStopping, ReduceLROnPlateau, ModelCheckpoint
from tensorflow.keras.preprocessing.image import ImageDataGenerator
from tensorflow.keras.optimizers import Adam
from sklearn.model_selection import train_test_split
from tensorflow.keras.backend import clear_session, set_value
clear_session()

# Your existing model setup
autoencoder = Model(input_img, decoded)
autoencoder.compile(optimizer=Adam(0.005), loss='mse')

# Callback for early stopping
early_stopping = EarlyStopping(monitor='val_loss', patience=10, verbose=0, mode='min', restore_best_weights=True)

# Callback to reduce learning rate
reduce_lr = ReduceLROnPlateau(monitor='val_loss', factor=0.5, patience=5, verbose=0, mode='min')

# Callback to save the model with the lowest validation loss
model_checkpoint = ModelCheckpoint('best_outlier_model_waug_RGB256_b64.h5', monitor='val_loss', mode='min', save_best_only=True, verbose=0)

X = images.astype(np.float16) # To save memory

# Split the dataset into a training and testing set
X_train, X_test = train_test_split(X, test_size=0.1, random_state=42)

del X
X_train = X_train.astype(np.float16)
X_test = X_test.astype(np.float16)

# Data Augmentation
from tensorflow.keras.preprocessing.image import ImageDataGenerator

from PIL import Image
import random

def random_stretch(image, target_size=(256, 256)):
    img = Image.fromarray((image * 255).astype('uint8'))  # Convert from array to PIL Image
    original_size = img.size  # (width, height)
    stretch_factor = 1.1  # Define stretch factor
    
    axis = random.choice(['width', 'height'])
    
    if axis == 'width':
        new_size = (int(original_size[0] * stretch_factor), original_size[1])
    else:
        new_size = (original_size[0], int(original_size[1] * stretch_factor))
    stretched_img = img.resize(new_size, Image.Resampling.LANCZOS)
    resized_img = stretched_img.resize(target_size, Image.Resampling.LANCZOS)
    return np.array(resized_img) / 255.0  # Convert back to array and scale to [0, 1]

# Define separate ImageDataGenerators for training and test sets
#datagen_params = dict(zca_whitening=True,)
datagen_params = dict()
   
train_datagen = ImageDataGenerator(
    **datagen_params,
    rescale=1./255,
    rotation_range=20,
    width_shift_range=0.1,
    height_shift_range=0.1,
    shear_range=0.1,
    zoom_range=0.1,
    horizontal_flip=True,
    fill_mode='nearest',
    preprocessing_function=lambda x: random_stretch(x, target_size=(img_size, img_size))  # Apply random stretching and resize
)

test_datagen = ImageDataGenerator(
    **datagen_params,)

autoencoder.fit(train_datagen.flow(X_train, X_train, batch_size=64),
                epochs=100,
                shuffle=True,
                validation_data=test_datagen.flow(X_test, X_test, batch_size=64),
                callbacks=[early_stopping, reduce_lr, model_checkpoint])

预测代码 #

reconstructed_images = autoencoder.predict(images_to_predict)

errors = np.mean(np.abs(images_to_predict - reconstructed_images), axis=(1, 2, 3))
threshold = np.percentile(errors, 90)  # Set threshold as the 90th percentile of error

anomalies = errors > threshold

解答 #

1. 当前ReLU+MSE方案完全合理 #

从任务目标和实验结果来看，该方案没有基础错误：

• 输入图像已归一化至[0,1]，虽然ReLU理论上能输出大于1的值，但在自编码器的重建约束下，模型会自动将输出向输入分布靠拢，实际训练中不会出现大范围溢出。MSE是回归任务的标准损失，能精准衡量像素级的重建误差，而这正是异常检测的核心——异常区域的重建误差会显著高于正常区域。
• 实验已经验证该组合能取得良好性能，说明它适配你的数据集和任务场景，无需怀疑其合理性。

2. Sigmoid+BCE性能暴跌的原因 #

你的直觉偏差源于对损失函数适用场景的误解，具体原因包括：

• 任务类型不匹配：BCE是为分类任务设计的，用于衡量两个概率分布的差异；而图像重建是回归任务，目标是预测连续的像素值，并非概率。用BCE会弱化像素值的细微差异，而这正是异常检测需要捕捉的关键信息。
• Sigmoid的梯度消失问题：输入图像归一化到[0,1]后，大部分像素值处于Sigmoid的饱和区（接近0或1），此时Sigmoid的梯度趋近于0，模型参数难以更新，训练效率极低。
• 通道维度不匹配：你的输入是3通道RGB图像，但解码器最后一层输出是1通道。切换到Sigmoid+BCE时，这种维度不匹配会直接导致损失计算错误，这可能是性能暴跌的直接原因之一。

3. 优化方向与标准调整 #

如果想进一步优化或贴合任务标准，可以从以下几个方面入手：

• 优化现有ReLU+MSE方案：
  • 替换误差计算方式：当前用的是MAE，可尝试MSE（更放大异常区域的误差），或结合两者；
  • 改进阈值选择：用训练集正常样本的误差分布（比如3σ原则：均值+3倍标准差）代替固定分位数，或用ROC-AUC曲线选择最优阈值；
  • 加权误差：对易出现异常的区域赋予更高权重，提升模型对缺陷的敏感度。
• 修正Sigmoid+BCE的尝试：
  • 调整输出通道数：将解码器最后一层的Conv2D(1,...)改为Conv2D(3,...)，匹配输入的RGB通道；
  • 降低学习率：Sigmoid梯度小，建议将Adam的学习率从0.005降至0.001甚至更低；
  • 用带权重的BCE：对像素值接近0.5的区域（Sigmoid梯度较大的区域）赋予更高权重，缓解梯度消失问题。
• 模型架构升级：
  • 用转置卷积代替UpSampling，提升重建精度；
  • 增加卷积层数或引入残差连接，增强模型特征提取能力；
  • 尝试变分自编码器（VAE），利用概率分布差异检测异常，适合复杂场景。
• 数据增强与训练集优化：
  • 训练集尽量只包含正常样本，确保模型学习到正常图像的分布；
  • 添加针对性增强（如局部模糊、噪声注入），提升模型泛化能力。

内容的提问来源于stack exchange，提问作者Leela