PyTorch/Keras医学图像逐通道归一化及二分类数据集处理方法

你当前需要的是单图逐通道实例归一化（每张图独立计算各通道均值、标准差做归一化，标准差为0时跳过对应通道计算），不需要提前全量读取所有图像存入列表，直接基于PyTorch标准数据集流水线实现即可，天然适配你现有的train/val/test分目录、子目录按类别划分的二分类结构。

原有代码存在的问题 #

• 归一化函数依赖全局变量array_list，存在副作用，重复调用或多线程运行时容易产生脏数据
• 提前将所有图像读入内存再转张量，数据集规模较大时会直接占满显存/内存
• 缺少HWC（OpenCV默认读取维度：高-宽-通道）到CHW（PyTorch模型要求输入维度：通道-高-宽）的转换，直接传入模型会触发维度报错
• 手动维护图像路径列表、标签列表容易出现匹配错误

最优实现流程 #

直接复用PyTorch官方ImageFolder类适配你的目录结构，自定义transform实现逐通道归一化逻辑，按需读取图像，内存占用稳定，无需手动处理标签映射。
你的目录结构只要符合如下格式即可直接使用：

你的数据集根目录/
├── train/
│   ├── wound/
│   └── no_wound/
├── val/
│   ├── wound/
│   └── no_wound/
└── test/
    ├── wound/
    └── no_wound/

完整代码 #

import cv2
import numpy as np
import torch
from torch.utils.data import DataLoader
from torchvision import transforms
from torchvision.datasets import ImageFolder

# 自定义OpenCV图像读取器，和你原有读取逻辑保持一致
class OpenCVLoader:
    def __call__(self, img_path):
        img = cv2.imread(img_path)
        if img is None:
            raise RuntimeError(f"图像读取失败，请检查路径：{img_path}")
        return img

# 自定义逐通道归一化逻辑，完全匹配你的规则
class PerChannelNormalize:
    def __call__(self, img):
        # img为OpenCV读取的HWC格式BGR图像，dtype为uint8
        norm_img = np.zeros_like(img, dtype=np.float32)
        for channel_idx in range(img.shape[2]):
            channel_data = img[:, :, channel_idx]
            channel_std = channel_data.std()
            # 标准差为0时跳过该通道归一化
            if channel_std != 0:
                norm_img[:, :, channel_idx] = (channel_data - channel_data.mean()) / channel_std
        # 转换为CHW格式的PyTorch张量
        return torch.from_numpy(norm_img.transpose(2, 0, 1))

# 组合预处理流水线
img_transform = transforms.Compose([
    OpenCVLoader(),
    PerChannelNormalize()
])

# 直接加载三个数据集，自动完成类别标签映射（默认按文件夹名排序分配0/1标签）
train_dataset = ImageFolder(root="./你的数据集根目录/train", transform=img_transform)
val_dataset = ImageFolder(root="./你的数据集根目录/val", transform=img_transform)
test_dataset = ImageFolder(root="./你的数据集根目录/test", transform=img_transform)

# 构建数据加载器
train_loader = DataLoader(train_dataset, batch_size=16, shuffle=True, num_workers=4)
val_loader = DataLoader(val_dataset, batch_size=16, shuffle=False, num_workers=4)
test_loader = DataLoader(test_dataset, batch_size=16, shuffle=False, num_workers=4)

补充说明 #

• 类别标签映射可以通过train_dataset.class_to_idx查看，默认返回{'no_wound': 0, 'wound': 1}，如果需要调整类别对应序号，直接修改文件夹名排序即可
• 如果你的数据集规模很小，想要一次性预处理完所有数据存为张量，可以直接遍历数据集生成：

# 小数据集可选：一次性预处理全量数据
tensor_x, tensor_y = [], []
for img, label in train_dataset:
    tensor_x.append(img)
    tensor_y.append(label)
tensor_x = torch.stack(tensor_x)
tensor_y = torch.tensor(tensor_y)

内容的提问来源于stack exchange，提问作者Zehra N.