torchtext.data无Field属性报错求助（Python3.10.1+torchtext0.15.1）

你的问题出在torchtext 0.12及以上版本完全移除了Field类和整个legacy模块，所以不管是torchtext.data.Field还是torchtext.legacy.data.Field都无法使用。新的torchtext采用了更模块化的API来处理词汇表构建和文本预处理，以下是适配你需求的解决方案：

步骤1：导入新的分词器和词汇表构建工具 #

from torchtext.data.utils import get_tokenizer
from torchtext.vocab import build_vocab_from_iterator

步骤2：初始化Spacy分词器 #

tokenizer = get_tokenizer("spacy")

步骤3：定义生成器函数，提供分词后的文本迭代器 #

这个函数会遍历你的训练数据文本，返回每个文本的分词结果：

def yield_tokens(data):
    for text in data.Text:
        yield tokenizer(text)

步骤4：构建词汇表 #

用build_vocab_from_iterator替代原来的build_vocab，参数min_freq的作用和之前一致：

vocab = build_vocab_from_iterator(yield_tokens(train_data), min_freq=3)

可选：设置未知词默认索引 #

为了处理词汇表中不存在的词，可以设置默认索引指向未知词<unk>：

# 先确保<unk>在词汇表里，build_vocab_from_iterator默认会添加它
vocab.set_default_index(vocab["<unk>"])

额外说明 #

新的torchtext API将文本分词、词汇表构建、数据加载拆分成独立模块，如果你后续需要将文本转换为张量，可以直接用词汇表的__getitem__方法：

# 示例：将单句文本转为索引张量
import torch
text = "example sentence"
tokenized_text = tokenizer(text)
index_tensor = torch.tensor(vocab(tokenized_text), dtype=torch.long)

内容的提问来源于stack exchange，提问作者gmunda