You need to enable JavaScript to run this app. Pandas使用正则sep参数调用read_csv时NaN被读取为空字符串问题
优惠活动
大模型
产品
解决方案
定价
更多

Pandas使用正则sep参数调用read_csv时NaN被读取为空字符串问题

pandas正则分隔符读取单列CSV时NaN被识别为空字符串的问题解析

底层原因

当read_csv传入的sep参数长度大于1时,pandas会默认将其识别为正则分隔符,启用C解析引擎的正则解析分支。该分支在解析后结果仅为单列时,会走单列优化的解析逻辑,该逻辑跳过了默认的空值匹配流程,同时错误地将原本代表NaN的空字段包裹为双引号字符串返回,最终出现你观察到的""结果。多列场景下正则解析会走正常多字段处理逻辑,不存在该问题。

解决方案

  • 切换使用python解析引擎:python引擎对正则分隔符的处理不存在单列解析的兼容问题,只需添加参数engine='python'即可:
    df2 = pd.read_csv(file_path, sep='[,	]', engine='python')
    
  • 显式指定空值匹配规则:手动将空字符串和双引号空值加入空值识别列表,同时指定引号字符让解析器自动处理字段两端的引号:
    df2 = pd.read_csv(file_path, sep='[,	]', na_values=['""', ''], quotechar='"')
    
  • 避免不必要的正则分隔符:如果实际场景中分隔符仅为单一字符,直接传入普通字符串作为sep即可,不会触发正则解析的异常分支。

内容的提问来源于stack exchange,提问作者pyjamas

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.17 14:15:04