文本分类时遇AttributeError：module 'torchtext.data' has no attribute 'Field'如何解决？

问题原因 #

你遇到的报错是因为使用了torchtext 0.12及以上版本，该版本完全重构了原有API，旧版的data.Field和data.LabelField已被移除，替换为更灵活的文本处理流水线。

两种解决方案 #

方案一：降级到兼容旧API的torchtext版本

如果你不想修改现有代码，可以将torchtext降级到0.11.x版本（需与PyTorch版本匹配，比如torch 1.10.x对应torchtext 0.11.0）：

pip uninstall torchtext -y
pip install torchtext==0.11.0

方案二：适配新版本torchtext的API（推荐长期使用）

新版本采用transforms流水线和vocab工具处理文本，结合PyTorch原生Dataset构建数据集，示例代码如下：

1. 先安装依赖工具：

pip install spacy
python -m spacy download en_core_web_sm

2. 重构后的代码：

import torch
from torchtext.transforms import Tokenizer, VocabTransform, ToTensor, PadTransform
from torchtext.vocab import build_vocab_from_iterator
from torch.utils.data import Dataset, DataLoader
import spacy

# 加载spacy分词器
nlp = spacy.load("en_core_web_sm")
def tokenize_func(text):
    return [tok.text for tok in nlp.tokenizer(text)]

# 示例数据（替换为你的真实数据集）
train_texts = ["this is a positive sentence", "this is a negative sentence"]
train_labels = [1., 0.]

# 构建词汇表
vocab = build_vocab_from_iterator(map(tokenize_func, train_texts), specials=["<unk>", "<pad>"])
vocab.set_default_index(vocab["<unk>"])

# 定义文本转换流水线
text_transform = torch.nn.Sequential(
    Tokenizer(tokenize_func),
    VocabTransform(vocab),
    ToTensor(padding_value=vocab["<pad>"]),
    PadTransform(max_length=50, pad_value=vocab["<pad>"])  # 根据数据集设置最大长度
)

# 定义标签转换
label_transform = ToTensor(dtype=torch.float)

# 自定义数据集类
class TextClassificationDataset(Dataset):
    def __init__(self, texts, labels, text_transform, label_transform):
        self.texts = texts
        self.labels = labels
        self.text_transform = text_transform
        self.label_transform = label_transform

    def __len__(self):
        return len(self.texts)

    def __getitem__(self, idx):
        # 若需要获取序列长度，可在此处计算后返回
        tokenized_text = tokenize_func(self.texts[idx])
        text_tensor = self.text_transform(self.texts[idx])
        seq_length = torch.tensor(len(tokenized_text), dtype=torch.int)
        label_tensor = self.label_transform(self.labels[idx])
        return text_tensor, seq_length, label_tensor

# 创建数据加载器
train_loader = DataLoader(
    TextClassificationDataset(train_texts, train_labels, text_transform, label_transform),
    batch_size=32,
    shuffle=True
)

内容的提问来源于stack exchange，提问作者user15232201