torchtext v0.14.1导入Field报错求助：如何正确加载Field？

原因 #

从torchtext v0.12.0版本开始，Field、Example等旧版数据处理API被废弃并彻底移除，新版改用了一套全新的数据处理架构。

解决方法 #

方法1：适配新版torchtext API #

如果想继续使用v0.14.1版本，可通过以下组件替代Field的功能：

• 文本分词：使用torchtext.transforms中的分词工具，比如WhitespaceTokenizer
• 词汇表构建：调用torchtext.vocab.build_vocab_from_iterator方法
• 数据加载：结合torch.utils.data.DataLoader和自定义数据集类

示例代码：

from torchtext.transforms import WhitespaceTokenizer, VocabTransform
from torchtext.vocab import build_vocab_from_iterator
from torch.utils.data import DataLoader, Dataset

# 自定义文本数据集类
class TextDataset(Dataset):
    def __init__(self, texts):
        self.texts = texts
        self.tokenizer = WhitespaceTokenizer()
        # 从文本迭代器构建词汇表
        self.vocab = build_vocab_from_iterator(map(self.tokenizer, texts), specials=["<unk>", "<pad>"])
        self.vocab.set_default_index(self.vocab["<unk>"])
        self.vocab_transform = VocabTransform(self.vocab)
    
    def __len__(self):
        return len(self.texts)
    
    def __getitem__(self, idx):
        tokenized_text = self.tokenizer(self.texts[idx])
        indexed_text = self.vocab_transform(tokenized_text)
        return indexed_text

# 测试使用
sample_texts = ["hello pytorch", "torchtext has changed"]
dataset = TextDataset(sample_texts)
dataloader = DataLoader(dataset, batch_size=2)

方法2：降级torchtext到兼容版本 #

如果依赖旧代码不想修改，可将torchtext降级到仍支持Field的v0.11.x版本，执行命令：

pip install torchtext==0.11.3

注意：降级时需匹配对应torch版本，v0.11.3兼容torch 1.10.x系列版本。

内容的提问来源于stack exchange，提问作者homa taha