如何编写PyTorch自定义Dataloader加载多波段TIFF输出指定维度批量数据
解决方案
错误原因
你使用的datasets.ImageFolder不匹配你的数据结构,核心问题有2个:
ImageFolder默认将子文件夹识别为类别分组,子文件夹内的每个单独文件会被作为独立样本加载,所以不会自动把同文件夹下的5个波段文件拼接为单个样本。- 内置的
transforms.ToTensor()默认仅适配3通道常规图像,对多波段TIFF格式支持不完整,也无法完成多波段堆叠逻辑。
解决方法
自定义PyTorch Dataset类实现符合你数据结构的加载逻辑,步骤如下:
1. 安装依赖
首先安装TIFF读取工具:
pip install tifffile
2. 实现自定义Dataset
import os import torch from torch.utils.data import Dataset, DataLoader import tifffile as tiff from torchvision import transforms class MultiBandImageDataset(Dataset): def __init__(self, root_dir, transform=None): self.root_dir = root_dir # 读取所有子文件夹路径,每个子文件夹对应1个多波段样本 self.image_folders = sorted([f.path for f in os.scandir(root_dir) if f.is_dir()]) self.transform = transform def __len__(self): # 总样本数等于子文件夹总数 return len(self.image_folders) def __getitem__(self, idx): current_folder = self.image_folders[idx] # 读取当前文件夹下所有波段文件,按名称排序保证波段顺序正确 band_files = sorted([ os.path.join(current_folder, f) for f in os.listdir(current_folder) if f.endswith('.tiff') ]) # 逐个读取波段并堆叠 band_list = [] for bf in band_files: band_data = tiff.imread(bf) band_list.append(band_data) # 堆叠后形状为 (5, H, W) image_tensor = torch.tensor(band_list, dtype=torch.float32) # 应用预处理逻辑 if self.transform: image_tensor = self.transform(image_tensor) # 如需返回标签可在此处补充逻辑,同步返回图像张量和标签 return image_tensor
3. 初始化Dataset和DataLoader
# 定义预处理规则,如原始图像已为256*256可去掉Resize操作 transform = transforms.Compose([ transforms.Resize((256, 256)), # 可补充归一化、数据增强等操作 ]) dataset = MultiBandImageDataset(root_dir="./Images", transform=transform) loader = DataLoader(dataset, batch_size=64, shuffle=True, num_workers=4)
4. 验证输出形状
for batch in loader: print(batch.shape) # 输出为 torch.Size([64, 5, 256, 256]) break
注意事项
- 确保每个子文件夹下刚好存在5个TIFF波段文件,且文件名排序后对应b01到b05的顺序,避免波段错乱
- 如需加载标签,可在
__init__方法中根据文件夹名或自定义映射表生成标签列表,在__getitem__中同步返回即可
内容的提问来源于stack exchange,提问作者manlike
相关产品推荐
相关产品推荐

