torchtext TabularDataset读取两列CSV报错:值过多无法解包(预期2个值)
报错原因
这个问题和单元格内无逗号的检查结论无关,是两处规则错位叠加导致的:
- 核心诱因是CSV转义规则不匹配:torchtext内置的CSV解析器默认将反斜杠
\判定为转义字符。你的数据是化学结构式,单元格内本身带有大量\(用于标记顺反异构),解析器遇到\时会错误转义紧邻的双引号,打乱字符串的闭合边界,最终拆分出的列数远多于预期的2列,触发“值过多无法解包”的报错。而pandas导出CSV时,默认不会用反斜杠实现转义,两边解析/导出规则不一致是问题根源。 - 次要问题是接口参数格式不匹配:
TabularDataset要求fields参数必须传入(字段名, Field实例)格式的元组列表,直接传字符串列表['src', 'trg']本身不符合接口要求,只是程序还没走到格式校验环节,就被前面的解析错误中断了。
修复方法
按照导出、解析规则对齐、修正接口参数的思路调整即可:
- 给CSV解析器传入自定义参数,明确对齐pandas的导出规则,关闭反斜杠转义,开启双引号嵌套转义。
- 按照接口要求初始化Field实例,修正fields参数的传入格式。
可运行的修正代码如下:
import os from torchtext.data import TabularDataset, Field # 按需初始化src、trg对应的字段对象 src_field = Field(tokenize=lambda text: text.split(), batch_first=True) trg_field = Field(tokenize=lambda text: text.split(), batch_first=True) dataset = TabularDataset( path=os.path.abspath('dataset.csv'), format='csv', fields=[('src', src_field), ('trg', trg_field)], # 显式指定CSV解析规则,和pandas导出逻辑完全对齐 csv_reader_params={ 'escapechar': None, # 关闭默认的反斜杠转义,避免误解析单元格内的\字符 'doublequote': True, # 采用双引号嵌套方式转义内容内的引号,匹配pandas默认行为 'quoting': 1 # 对应csv.QUOTE_ALL模式,和导出时的设置一致 } )
修复效果
调整后,解析器不会再把单元格内的\识别为转义符号,带反斜杠的化学结构式会被完整识别为单个单元格内容,每一行都会稳定拆分为2列,解包报错会直接消失。
内容的提问来源于stack exchange,提问作者Soerendip
相关产品推荐
相关产品推荐

