You need to enable JavaScript to run this app. 读取CSV前如何移除多余双引号以解决pandas解析错误?
优惠活动
大模型
产品
解决方案
定价
更多

读取CSV前如何移除多余双引号以解决pandas解析错误?

问题场景

触发的报错为:

pandas.errors.ParserError: '|' expected after '"'

报错根源是CSV文件首行存在多余的不闭合双引号,该首行的实际内容为:
"Name|Kind|Color|Price

最初使用的读取代码为:
pd.read_csv(filename, sep='|', usecols=fields, engine='python')
代码执行后直接触发上述解析错误。

此前尝试过的无效调整方案:
曾追加参数quotechar='"', error_bad_lines=False调整读取逻辑,但该方案本质是跳过解析失败的行,而这行恰恰是必须保留的列头行,跳过之后pandas会把第一行数据错当成表头,列名、列位置完全错乱,同时异常行被直接丢弃,根本无法满足使用要求。

核心诉求:
能否在不重写、不修改本地原文件的前提下解决问题?比如先将文件内容读取为字符串、移除多余双引号后,再按照原本指定的分隔符、选列逻辑完成pandas解析。

可行解决方案

你提到的「先将文件内容读取为字符串、移除多余双引号后再解析」的思路完全可行,也是这类非标准CSV场景下最灵活的处理方案,全程可以做到不改动本地原文件,所有修正操作都在内存中完成,不需要写临时文件,具体实现逻辑:

  • 以普通文本形式读取原文件全部内容,不修改磁盘上存储的文件实体
  • 仅对首行位置的多余不闭合双引号做定向移除,不改动文件其他行的原有合法内容
  • 将修正后的字符串转为内存文本流,直接传入pd.read_csv完成解析,不需要生成新的临时文件

参考实现代码:

import pandas as pd
from io import StringIO

# 打开原文件读取内容,全程不做任何磁盘写操作
with open(filename, 'r', encoding='utf-8') as f:
    original_text = f.read()

# 定向移除首行开头的多余双引号,第三个参数表示仅替换第一处匹配内容,不影响其他位置符合规范的带引号字段
fixed_text = original_text.replace('"Name|Kind|Color|Price', 'Name|Kind|Color|Price', 1)

# 把修正后的内存文本直接传给pandas读取,和原本的读取逻辑完全一致
df = pd.read_csv(
    StringIO(fixed_text),
    sep='|',
    usecols=fields,
    engine='python'
)

补充说明:

  • 所有修正操作都在内存中完成,全程不会改动磁盘上的原始CSV文件
  • 替换逻辑限定仅修改第一处匹配的异常引号,不会破坏文件其他位置符合CSV规范的带引号字段
  • 如果首行的异常位置不固定,也可以单独拆分出首行做修正后,和剩余行重新拼接为完整字符串再传入解析,适配灵活性更高

内容的提问来源于stack exchange,提问作者Mari

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.17 20:15:07