You need to enable JavaScript to run this app. torchtext TabularDataset读取两列CSV报错:值过多无法解包(预期2个值)
优惠活动
大模型
产品
解决方案
定价
更多

torchtext TabularDataset读取两列CSV报错:值过多无法解包(预期2个值)

报错原因

这个问题和单元格内无逗号的检查结论无关,是两处规则错位叠加导致的:

  • 核心诱因是CSV转义规则不匹配:torchtext内置的CSV解析器默认将反斜杠\判定为转义字符。你的数据是化学结构式,单元格内本身带有大量\(用于标记顺反异构),解析器遇到\时会错误转义紧邻的双引号,打乱字符串的闭合边界,最终拆分出的列数远多于预期的2列,触发“值过多无法解包”的报错。而pandas导出CSV时,默认不会用反斜杠实现转义,两边解析/导出规则不一致是问题根源。
  • 次要问题是接口参数格式不匹配:TabularDataset要求fields参数必须传入(字段名, Field实例)格式的元组列表,直接传字符串列表['src', 'trg']本身不符合接口要求,只是程序还没走到格式校验环节,就被前面的解析错误中断了。
修复方法

按照导出、解析规则对齐、修正接口参数的思路调整即可:

  • 给CSV解析器传入自定义参数,明确对齐pandas的导出规则,关闭反斜杠转义,开启双引号嵌套转义。
  • 按照接口要求初始化Field实例,修正fields参数的传入格式。

可运行的修正代码如下:

import os
from torchtext.data import TabularDataset, Field

# 按需初始化src、trg对应的字段对象
src_field = Field(tokenize=lambda text: text.split(), batch_first=True)
trg_field = Field(tokenize=lambda text: text.split(), batch_first=True)

dataset = TabularDataset(
    path=os.path.abspath('dataset.csv'),
    format='csv',
    fields=[('src', src_field), ('trg', trg_field)],
    # 显式指定CSV解析规则,和pandas导出逻辑完全对齐
    csv_reader_params={
        'escapechar': None,  # 关闭默认的反斜杠转义,避免误解析单元格内的\字符
        'doublequote': True,  # 采用双引号嵌套方式转义内容内的引号,匹配pandas默认行为
        'quoting': 1  # 对应csv.QUOTE_ALL模式,和导出时的设置一致
    }
)
修复效果

调整后,解析器不会再把单元格内的\识别为转义符号,带反斜杠的化学结构式会被完整识别为单个单元格内容,每一行都会稳定拆分为2列,解包报错会直接消失。


内容的提问来源于stack exchange,提问作者Soerendip

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.03 00:15:04