PyTorch自定义DataLoader运行报错IndexError及代码修正问询

1. IndexError 根源分析 #

这个错误IndexError: index 0 is out of bounds for dimension 1 with size 0本质是张量维度为空，常见触发原因：

• 自定义Dataset加载diabetes.csv时，文件路径错误、格式损坏或列索引逻辑错误，导致读取的特征集为空
• 数据预处理时误删除所有特征列，使得样本的特征维度变为0

2. NumPy & Softmax 警告处理 #

• NumPy警告：多因数据类型不匹配（如整数数组做浮点运算）或空数组操作，需校验读取后的数据类型与有效性
• Softmax警告：通常是输入值过大引发数值不稳定，或是在最后一层用了Softmax又搭配CrossEntropyLoss（后者内部已集成Softmax，重复使用会触发警告并导致数值异常）

修正后的完整代码 #

自定义Dataset实现 #

import torch
from torch.utils.data import Dataset, DataLoader
import pandas as pd
import numpy as np

class DiabetesDataset(Dataset):
    def __init__(self, csv_path):
        # 读取数据，确保路径正确
        self.data = pd.read_csv(csv_path)
        # 分离特征和标签（假设最后一列为标签，可根据实际CSV结构调整索引）
        self.features = self.data.iloc[:, :-1].values.astype(np.float32)
        self.labels = self.data.iloc[:, -1].values.astype(np.int64)
        
        # 提前校验数据有效性
        if self.features.shape[1] == 0:
            raise ValueError("特征列数量为0，请检查CSV文件格式或列索引逻辑")

    def __len__(self):
        return len(self.data)

    def __getitem__(self, idx):
        x = torch.tensor(self.features[idx])
        y = torch.tensor(self.labels[idx])
        return x, y

数据加载与模型训练 #

# 初始化数据集和DataLoader
dataset = DiabetesDataset("diabetes.csv")
dataloader = DataLoader(dataset, batch_size=32, shuffle=True)

# 定义模型（移除冗余Softmax）
class DiabetesModel(torch.nn.Module):
    def __init__(self, input_dim):
        super().__init__()
        self.fc1 = torch.nn.Linear(input_dim, 16)
        self.fc2 = torch.nn.Linear(16, 8)
        self.fc3 = torch.nn.Linear(8, 2)  # 二分类场景输出维度设为2

    def forward(self, x):
        x = torch.relu(self.fc1(x))
        x = torch.relu(self.fc2(x))
        x = self.fc3(x)  # 此处不添加Softmax，交给损失函数处理
        return x

# 初始化训练组件
input_dim = dataset.features.shape[1]
model = DiabetesModel(input_dim)
criterion = torch.nn.CrossEntropyLoss()  # 内部已包含Softmax计算
optimizer = torch.optim.Adam(model.parameters(), lr=0.001)

# 训练循环
for epoch in range(10):
    running_loss = 0.0
    for inputs, labels in dataloader:
        optimizer.zero_grad()
        outputs = model(inputs)
        loss = criterion(outputs, labels)
        loss.backward()
        optimizer.step()
        running_loss += loss.item()
    print(f"Epoch {epoch+1}, Loss: {running_loss/len(dataloader):.4f}")

关键修正点 #

• 数据校验前置：在Dataset初始化时添加特征维度检查，提前抛出明确错误，避免后续索引异常
• 路径与格式校验：确认diabetes.csv路径正确、文件无损坏，根据实际CSV结构调整特征与标签的划分逻辑
• 移除Softmax冗余：删除模型最后一层的Softmax，改用CrossEntropyLoss内置的Softmax计算，解决警告与数值不稳定问题
• 统一数据类型：将特征转为float32、标签转为int64，匹配PyTorch张量默认 dtype，消除NumPy类型警告

内容的提问来源于stack exchange，提问作者HighestKR