读取CSV前如何移除多余双引号以解决pandas解析错误?
问题场景
触发的报错为:
pandas.errors.ParserError: '|' expected after '"'
报错根源是CSV文件首行存在多余的不闭合双引号,该首行的实际内容为:"Name|Kind|Color|Price
最初使用的读取代码为:pd.read_csv(filename, sep='|', usecols=fields, engine='python')
代码执行后直接触发上述解析错误。
此前尝试过的无效调整方案:
曾追加参数quotechar='"', error_bad_lines=False调整读取逻辑,但该方案本质是跳过解析失败的行,而这行恰恰是必须保留的列头行,跳过之后pandas会把第一行数据错当成表头,列名、列位置完全错乱,同时异常行被直接丢弃,根本无法满足使用要求。
核心诉求:
能否在不重写、不修改本地原文件的前提下解决问题?比如先将文件内容读取为字符串、移除多余双引号后,再按照原本指定的分隔符、选列逻辑完成pandas解析。
可行解决方案
你提到的「先将文件内容读取为字符串、移除多余双引号后再解析」的思路完全可行,也是这类非标准CSV场景下最灵活的处理方案,全程可以做到不改动本地原文件,所有修正操作都在内存中完成,不需要写临时文件,具体实现逻辑:
- 以普通文本形式读取原文件全部内容,不修改磁盘上存储的文件实体
- 仅对首行位置的多余不闭合双引号做定向移除,不改动文件其他行的原有合法内容
- 将修正后的字符串转为内存文本流,直接传入
pd.read_csv完成解析,不需要生成新的临时文件
参考实现代码:
import pandas as pd from io import StringIO # 打开原文件读取内容,全程不做任何磁盘写操作 with open(filename, 'r', encoding='utf-8') as f: original_text = f.read() # 定向移除首行开头的多余双引号,第三个参数表示仅替换第一处匹配内容,不影响其他位置符合规范的带引号字段 fixed_text = original_text.replace('"Name|Kind|Color|Price', 'Name|Kind|Color|Price', 1) # 把修正后的内存文本直接传给pandas读取,和原本的读取逻辑完全一致 df = pd.read_csv( StringIO(fixed_text), sep='|', usecols=fields, engine='python' )
补充说明:
- 所有修正操作都在内存中完成,全程不会改动磁盘上的原始CSV文件
- 替换逻辑限定仅修改第一处匹配的异常引号,不会破坏文件其他位置符合CSV规范的带引号字段
- 如果首行的异常位置不固定,也可以单独拆分出首行做修正后,和剩余行重新拼接为完整字符串再传入解析,适配灵活性更高
内容的提问来源于stack exchange,提问作者Mari
相关产品推荐
相关产品推荐

