You need to enable JavaScript to run this app. pandas加载管道分隔CSV指定列生成DataFrame时全为NaN
优惠活动
大模型
产品
解决方案
定价
更多

pandas加载管道分隔CSV指定列生成DataFrame时全为NaN

FEC管道分隔文件导入全NaN问题排查与修复

问题核心成因

你遇到的读取后全返回NaN、传MySQL时记录数正确但字段为空的现象,是两个pandas读写逻辑的叠加踩坑导致:

  • FEC提供的委员会主数据管道分隔文件为纯数据无表头格式,整个文件没有单独一行存储字段名,所有行都是实际业务数据
  • pd.read_csv()默认启用header=0参数,会自动把文件第一行内容识别为列名——这也是你直接打印read_csv返回的data对象时,看起来数据完全正常的原因:第一行数据被挪去当列名,剩余行被识别为数据行,结构表面没有错位
  • 后续使用pd.DataFrame(data, columns=[自定义字段列表])时,该参数的作用不是“为现有列批量重命名”,而是按照传入的列名新建一套列结构,从原data中按列名匹配取值。由于原data的列名全是第一行数据的内容,完全没有你定义的CMTE_ID这类字段名,所有列都匹配不到对应取值,自然全部返回NaN。

正确修复代码

不需要额外嵌套一层pd.DataFrame做列名设置,直接在read_csv阶段匹配文件结构即可,修改后可运行的代码如下:

import pandas as pd
import pymysql

print('将管道分隔文件转换为DataFrame')
data = pd.read_csv(
    'Desktop/Python/FECupdates/cm.txt',
    delimiter='|',
    header=None,  # *核心参数*:告知pandas文件无内置表头
    names=['CMTE_ID','CMTE_NM','TRES_NM','CMTE_ST1','CMTE_ST2','CMTE_CITY','CMTE_ST','CMTE_ZIP','CMTE_DSGN','CMTE_TP','CMTE_PTY_AFFILIATION','CMTE_FILING_FREQ','ORG_TP','CONNECTED_ORG_NM','CAND_ID'],
    dtype=str  # 建议指定全字段为字符串类型,避免ZIP等带前导0的字段被自动转成数字丢失精度
)

print(data.head(10))

关联排查注意点

  • 之前替换分隔符为逗号转标准CSV后导入MySQL,出现记录数正确但字段全空的问题,本质是同一逻辑的错位:读文件时没有正确处理表头和数据的对应关系,导致列名和实际数据完全错开,导出时所有字段对应为空
  • 如需对已读取的DataFrame做列重命名,不要使用pd.DataFrame(原对象, columns=新列名列表)的写法,直接给对象的columns属性赋值即可:data.columns = [自定义列名列表],但该写法依然需要在read_csv阶段设置header=None,否则依然会出现第一行被误判为列名的错位问题
  • 匹配列名时注意核对字段顺序:你给出的样例数据中,每条记录以两个竖线结尾的空字段为最后一列,总计15个字段,和你定义的列名数量完全匹配,只要保证列名顺序和文件内字段顺序一一对应,就不会出现取值错位

内容的提问来源于stack exchange,提问作者willwonkforfood

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.26 03:15:04