Pandas使用正则sep参数调用read_csv时NaN被读取为空字符串问题
pandas正则分隔符读取单列CSV时NaN被识别为空字符串的问题解析
底层原因
当read_csv传入的sep参数长度大于1时,pandas会默认将其识别为正则分隔符,启用C解析引擎的正则解析分支。该分支在解析后结果仅为单列时,会走单列优化的解析逻辑,该逻辑跳过了默认的空值匹配流程,同时错误地将原本代表NaN的空字段包裹为双引号字符串返回,最终出现你观察到的""结果。多列场景下正则解析会走正常多字段处理逻辑,不存在该问题。
解决方案
- 切换使用python解析引擎:python引擎对正则分隔符的处理不存在单列解析的兼容问题,只需添加参数
engine='python'即可:df2 = pd.read_csv(file_path, sep='[, ]', engine='python') - 显式指定空值匹配规则:手动将空字符串和双引号空值加入空值识别列表,同时指定引号字符让解析器自动处理字段两端的引号:
df2 = pd.read_csv(file_path, sep='[, ]', na_values=['""', ''], quotechar='"') - 避免不必要的正则分隔符:如果实际场景中分隔符仅为单一字符,直接传入普通字符串作为
sep即可,不会触发正则解析的异常分支。
内容的提问来源于stack exchange,提问作者pyjamas
相关产品推荐
相关产品推荐

