You need to enable JavaScript to run this app. 如何编写PyTorch自定义Dataloader加载多波段TIFF输出指定维度批量数据
优惠活动
大模型
产品
解决方案
定价
更多

如何编写PyTorch自定义Dataloader加载多波段TIFF输出指定维度批量数据

解决方案

错误原因

你使用的datasets.ImageFolder不匹配你的数据结构,核心问题有2个:

  1. ImageFolder默认将子文件夹识别为类别分组,子文件夹内的每个单独文件会被作为独立样本加载,所以不会自动把同文件夹下的5个波段文件拼接为单个样本。
  2. 内置的transforms.ToTensor()默认仅适配3通道常规图像,对多波段TIFF格式支持不完整,也无法完成多波段堆叠逻辑。

解决方法

自定义PyTorch Dataset类实现符合你数据结构的加载逻辑,步骤如下:

1. 安装依赖

首先安装TIFF读取工具:

pip install tifffile

2. 实现自定义Dataset

import os
import torch
from torch.utils.data import Dataset, DataLoader
import tifffile as tiff
from torchvision import transforms

class MultiBandImageDataset(Dataset):
    def __init__(self, root_dir, transform=None):
        self.root_dir = root_dir
        # 读取所有子文件夹路径,每个子文件夹对应1个多波段样本
        self.image_folders = sorted([f.path for f in os.scandir(root_dir) if f.is_dir()])
        self.transform = transform

    def __len__(self):
        # 总样本数等于子文件夹总数
        return len(self.image_folders)

    def __getitem__(self, idx):
        current_folder = self.image_folders[idx]
        # 读取当前文件夹下所有波段文件,按名称排序保证波段顺序正确
        band_files = sorted([
            os.path.join(current_folder, f) 
            for f in os.listdir(current_folder) 
            if f.endswith('.tiff')
        ])
        # 逐个读取波段并堆叠
        band_list = []
        for bf in band_files:
            band_data = tiff.imread(bf)
            band_list.append(band_data)
        # 堆叠后形状为 (5, H, W)
        image_tensor = torch.tensor(band_list, dtype=torch.float32)
        # 应用预处理逻辑
        if self.transform:
            image_tensor = self.transform(image_tensor)
        # 如需返回标签可在此处补充逻辑,同步返回图像张量和标签
        return image_tensor

3. 初始化Dataset和DataLoader

# 定义预处理规则,如原始图像已为256*256可去掉Resize操作
transform = transforms.Compose([
    transforms.Resize((256, 256)),
    # 可补充归一化、数据增强等操作
])

dataset = MultiBandImageDataset(root_dir="./Images", transform=transform)
loader = DataLoader(dataset, batch_size=64, shuffle=True, num_workers=4)

4. 验证输出形状

for batch in loader:
    print(batch.shape) # 输出为 torch.Size([64, 5, 256, 256])
    break

注意事项

  • 确保每个子文件夹下刚好存在5个TIFF波段文件,且文件名排序后对应b01到b05的顺序,避免波段错乱
  • 如需加载标签,可在__init__方法中根据文件夹名或自定义映射表生成标签列表,在__getitem__中同步返回即可

内容的提问来源于stack exchange,提问作者manlike

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.17 07:57:03