如何用新版PyTorch和TorchText构建自定义机器翻译平行语料库？

我正在基于自定义数据集训练神经机器翻译（NMT）模型，之前找到的YouTube教程和配套代码用的是旧版PyTorch和TorchText，新版TorchText已经移除了Field和BucketIterator类。我参考了一篇适用于文本分类自定义数据集的文章，把代码改写成了如下形式，想确认这是不是用PyTorch实现平行语料库的正确方式。另外，官方文档帮助有限，还能从哪些渠道获取相关技术信息？

from os import PathLike
from torch.utils.data import Dataset
from torchtext.vocab import Vocab
import pandas as pd
from .create_vocab import tokenizer


class ParallelCorpus(Dataset):
    """A parallel corpus for training a machine translation model"""

    def __init__(self,
                    corpus_path: str | PathLike,
                    source_vocab: Vocab,
                    target_vocab: Vocab
                    ):
        super().__init__()
        self.corpus = pd.read_csv(corpus_path)
        self.source_vocab = source_vocab
        self.target_vocab = target_vocab

    def __len__(self):
        return len(self.corpus)

    def __getitem__(self, index: int):

        source_sentence = self.corpus.iloc[index, 0]
        source = [self.source_vocab["<sos>"]]
        source.extend(
            self.source_vocab.lookup_indices(tokenizer(source_sentence))
        )
        source.append(self.source_vocab["<eos>"])

        target_sentence = self.corpus.iloc[index, 1]
        target = [self.target_vocab["<sos>"]]
        target.extend(
            self.target_vocab.lookup_indices(tokenizer(target_sentence))
        )
        target.append(self.target_vocab["<eos>"])

        return source, target

一、代码正确性分析 #

你的实现思路是正确的，核心逻辑符合NMT平行语料的处理要求，但有几个可以优化的点：

• 索引访问健壮性：当前用iloc[index, 0]和iloc[index, 1]依赖CSV列的固定顺序，后续如果CSV列顺序变动会直接出错，建议改成按列名访问，比如self.corpus.loc[index, "source"]（替换为你的实际源语言列名，目标列同理）。
• 空句子处理：代码没有考虑空句子的情况，如果某一行的源/目标句子为空，tokenizer可能抛出异常，建议添加判断逻辑，比如为空时直接返回仅包含<sos>和<eos>的序列。
• 大内存数据集适配：如果数据集规模很大，pd.read_csv一次性加载全部数据会占用过多内存，可以考虑分批读取或者改用逐行读取文本文件的方式来降低内存占用。
• 后续DataLoader适配：当前返回的是列表形式的索引序列，后续使用DataLoader时需要自定义collate_fn函数，对不同长度的源、目标序列进行padding，这是NMT训练中必须的步骤，需要提前做好准备。

整体来看，这个ParallelCorpus类的设计符合PyTorch Dataset的规范，核心的添加<sos>/<eos>标记、词汇表索引转换的逻辑都是NMT数据处理的必要步骤，实现方向是正确的。

二、技术资源获取渠道 #

除了官方文档，这些渠道可以获取实用的NMT和PyTorch文本处理技术信息：

• PyTorch官方示例仓库：仓库中包含基于新版API的NMT实现示例，可直接参考代码结构和数据处理流程。
• 开源NMT项目：比如Fairseq、Transformers库中的NMT相关模块，这些项目会持续跟进框架版本更新，能看到工业级的数据处理实现方案。
• PyTorch社区讨论：在PyTorch官方论坛或者机器学习相关社区板块，很多开发者会分享新版API的迁移经验和NMT实践细节。
• 学术论文配套代码：不少顶会NMT论文会公开配套代码，这些代码通常使用较新的框架版本，能学习到前沿的数据处理技巧。
• 技术博客内容：关注专注于NLP和PyTorch的技术博主，他们会更新新版工具的使用教程和实践案例，比如针对TorchText 0.12+版本的文本处理指南。

内容的提问来源于stack exchange，提问作者0sharp