如何在图像蒙版操作中避免伪影，适配自编码器异常检测任务

问题1：高重构误差是否与RandomRotation操作有关？ #

是，二者直接相关。
你当前的预处理流程为先裁剪生成带黑色背景的圆形图像，再执行随机旋转，torchvision的RandomRotation默认对旋转后超出原图像边界的区域用0值（黑色）填充，会在圆形图像的四个边角形成不规则黑色填充区域，同时硬边界的圆形蒙版旋转后会产生高频边缘伪影，自编码器很难拟合这类无规律的突变像素，因此这部分区域的重构误差会明显偏高。

问题2：优化蒙版/处理流程的方案如下： #

• 调整数据增强与蒙版的执行顺序
  将「先蒙版裁剪、后旋转」的流程改为「先执行随机旋转、再做蒙版裁剪」，旋转产生的填充区域会被后续蒙版步骤直接过滤，不会进入训练样本。
  示例代码调整如下：

# 数据集__getitem__逻辑示例
import torch
import cv2
import numpy as np
from torchvision import transforms

img_transforms= transforms.Compose([
    transforms.ToPILImage(),
    transforms.RandomRotation(360),
    transforms.ToTensor(), 
])

def load_process_img(img_path, center_coord, RADIUS):
    img = cv2.imread(img_path)
    # 先执行随机旋转
    img_tensor = img_transforms(img)
    # 生成圆形掩码
    h, w = img.shape[:2]
    circle_mask = np.zeros((h, w), dtype=np.uint8)
    circle_mask = cv2.circle(circle_mask, center_coord, RADIUS, 1, -1)
    mask_tensor = torch.tensor(circle_mask, dtype=torch.bool)
    # 裁剪圆形有效区域
    cropped_img = img_tensor[:, center_coord[1]-RADIUS:center_coord[1]+RADIUS, 
                             center_coord[0]-RADIUS:center_coord[0]+RADIUS]
    cropped_mask = mask_tensor[center_coord[1]-RADIUS:center_coord[1]+RADIUS, 
                               center_coord[0]-RADIUS:center_coord[0]+RADIUS]
    return cropped_img, cropped_mask

• 替换硬边缘蒙版为软边缘蒙版
  对蒙版做高斯模糊处理，消除边界像素突变，降低模型拟合难度：

# 生成软边缘蒙版
circle_mask = np.zeros((height, width, channels), dtype=np.float32)
circle_mask = cv2.circle(circle_mask, center_coord, RADIUS, (1,1,1), -1)
# 调整高斯核参数控制边缘过渡平缓度
circle_mask = cv2.GaussianBlur(circle_mask, (21,21), 11)
# 加权叠加得到带软边缘的蒙版图像
img_masked = img * circle_mask

• 损失函数增加掩码过滤
  训练时直接忽略非感兴趣区域的像素，不将其计入损失计算，从根源上消除这部分的误差影响：

# 带掩码的MSE损失计算示例
def masked_mse(pred, target, mask):
    return torch.mean((pred[mask] - target[mask]) ** 2)

内容的提问来源于stack exchange，提问作者TomHanks