Pytorch Text用BucketIterator遍历时报‘无属性i’的AttributeError如何解决
错误原因
BucketIterator.splits()方法设计用于同时生成训练/验证/测试多组迭代器,返回值始终是迭代器组成的元组。你仅传入单个训练集且没有取元组的首个元素,最终train_iterator实际是迭代器的集合,而非可直接取batch的迭代器对象,遍历时拿到的是单个BucketIterator实例,自然不存在.i属性。- 代码存在潜在报错点:你在
fields配置中已经将数据集中的id字段映射为样本的i属性,因此sort_key中写len(x.id)会找不到属性,需要同步修改为len(x.i)。
解决方案
你可以任选以下一种方法修改:
方法1:调整splits方法的调用逻辑
仅需在获取返回值时取首个元素,同时修正sort_key:
train_iterator = BucketIterator.splits( # 加逗号明确是单元素元组,避免参数解析歧义 (train_data,), batch_size = batch_size, sort_within_batch = True, sort_key = lambda x: len(x.i), device = device )[0]
方法2:直接构造单数据集迭代器(更简洁)
如果仅需要训练集迭代器,无需调用splits方法,直接用BucketIterator类构造即可:
train_iterator = BucketIterator( train_data, batch_size = batch_size, sort_within_batch = True, sort_key = lambda x: len(x.i), device = device )
修改完成后再遍历train_iterator,即可通过data.i、data.t正常访问源序列和目标序列batch数据。
内容的提问来源于stack exchange,提问作者Muhammad Fhadli
相关产品推荐
相关产品推荐

