pandas加载管道分隔CSV指定列生成DataFrame时全为NaN
FEC管道分隔文件导入全NaN问题排查与修复
问题核心成因
你遇到的读取后全返回NaN、传MySQL时记录数正确但字段为空的现象,是两个pandas读写逻辑的叠加踩坑导致:
- FEC提供的委员会主数据管道分隔文件为纯数据无表头格式,整个文件没有单独一行存储字段名,所有行都是实际业务数据
pd.read_csv()默认启用header=0参数,会自动把文件第一行内容识别为列名——这也是你直接打印read_csv返回的data对象时,看起来数据完全正常的原因:第一行数据被挪去当列名,剩余行被识别为数据行,结构表面没有错位- 后续使用
pd.DataFrame(data, columns=[自定义字段列表])时,该参数的作用不是“为现有列批量重命名”,而是按照传入的列名新建一套列结构,从原data中按列名匹配取值。由于原data的列名全是第一行数据的内容,完全没有你定义的CMTE_ID这类字段名,所有列都匹配不到对应取值,自然全部返回NaN。
正确修复代码
不需要额外嵌套一层pd.DataFrame做列名设置,直接在read_csv阶段匹配文件结构即可,修改后可运行的代码如下:
import pandas as pd import pymysql print('将管道分隔文件转换为DataFrame') data = pd.read_csv( 'Desktop/Python/FECupdates/cm.txt', delimiter='|', header=None, # *核心参数*:告知pandas文件无内置表头 names=['CMTE_ID','CMTE_NM','TRES_NM','CMTE_ST1','CMTE_ST2','CMTE_CITY','CMTE_ST','CMTE_ZIP','CMTE_DSGN','CMTE_TP','CMTE_PTY_AFFILIATION','CMTE_FILING_FREQ','ORG_TP','CONNECTED_ORG_NM','CAND_ID'], dtype=str # 建议指定全字段为字符串类型,避免ZIP等带前导0的字段被自动转成数字丢失精度 ) print(data.head(10))
关联排查注意点
- 之前替换分隔符为逗号转标准CSV后导入MySQL,出现记录数正确但字段全空的问题,本质是同一逻辑的错位:读文件时没有正确处理表头和数据的对应关系,导致列名和实际数据完全错开,导出时所有字段对应为空
- 如需对已读取的DataFrame做列重命名,不要使用
pd.DataFrame(原对象, columns=新列名列表)的写法,直接给对象的columns属性赋值即可:data.columns = [自定义列名列表],但该写法依然需要在read_csv阶段设置header=None,否则依然会出现第一行被误判为列名的错位问题 - 匹配列名时注意核对字段顺序:你给出的样例数据中,每条记录以两个竖线结尾的空字段为最后一列,总计15个字段,和你定义的列名数量完全匹配,只要保证列名顺序和文件内字段顺序一一对应,就不会出现取值错位
内容的提问来源于stack exchange,提问作者willwonkforfood
相关产品推荐
相关产品推荐

