如何在LibTorch中重复使用DataLoader而无需重新初始化？

你遇到的报错是因为LibTorch的DataLoader不允许同时存在多个未耗尽的迭代器。你在每个epoch的循环中提前break，没有遍历完所有batch，导致上一次的迭代器状态残留，下一次尝试生成新迭代器时触发冲突。

方法1：手动管理迭代器（推荐） #

每个epoch开始时重新创建新的迭代器，避免残留未耗尽的迭代器状态。即使提前退出循环，当前迭代器会在epoch结束时自动销毁，不会影响下一次迭代：

auto dataloader = torch::data::make_data_loader<torch::data::samplers::RandomSampler>(
    std::move(dataset),
    torch::data::DataLoaderOptions()
        .batch_size(config.getBatchSize())
        .workers(config.getNumWorkers())
);

for(int e = 0; e < epoch; e++){
    // 每个epoch重新初始化迭代器
    auto iter = dataloader->begin();
    if(iter != dataloader->end()){
        const auto &calTensor = iter->data()->data;
        // 你的业务逻辑
    }
    // 迭代器在此处自动销毁，无状态残留
}

方法2：强制耗尽迭代器（不推荐） #

如果必须提前退出循环，可在break后手动遍历完剩余batch，确保迭代器被耗尽。但这种方式会浪费计算资源，仅在特殊场景下使用：

for(int e = 0; e < epoch; e++){
    bool early_exit = false;
    for(auto &batch: *dataloader){
        const auto &calTensor = batch.data()->data;
        early_exit = true;
        break;
    }
    // 提前退出后，手动耗尽剩余迭代器
    if(early_exit){
        auto iter = dataloader->begin();
        while(iter != dataloader->end()){
            ++iter;
        }
    }
}

内容的提问来源于stack exchange，提问作者alryosha