求助：Pandas读取400MB CSV文件未加载全部记录

问题描述 #

• 尝试读取一个400MB的CSV文件，文件包含表头在内共1,216,582条记录，但Pandas仅加载了1,189,096条
• 该文件旧版本可正常完整读取，无需指定列名，今日出现解析错误：

pandas.errors.ParserError: Error tokenizing data. C error: Expected 32 fields in line 417545, saw 44

• 指定列名后无报错，但仍无法读取全部记录，移除low_memory、dtype参数后问题依旧

使用代码 #

import pandas as pd

col_names = ["N", "TIPO_SEGURO", "SEXO", "TIEMPO_EDAD", "EDAD", "ESTADO_CIVIL", "NIVEL_DE_INSTRUCCION", "ETNIA", "COD_UBIGEO_DOMICILIO", "PAIS_DOMICILIO", "DEPARTAMENTO_DOMICILIO", "PROVINCIA_DOMICILIO", "DISTRITO_DOMICILIO", "FECHA", "ANIO", "MES", "TIPO_LUGAR", "INSTITUCION", "MUERTE_VIOLENTA", "NECROPSIA", "DEBIDO_CAUSA_A", "CAUSA_A_CIEX", "DEBIDO_CAUSA_B", "CAUSA_B_CIEX", "DEBIDO_CAUSA_C", "CAUSA_C_CIEX", "DEBIDO_CAUSA_D", "CAUSA_D_CIEX", "DEBIDO_CAUSA_E", "CAUSA_E_CIEX", "DEBIDO_CAUSA_F", "CAUSA_F_CIEX"]

tipo_de_datos = {"N":'int64', "TIPO_SEGURO":'string', "SEXO":'string', "TIEMPO_EDAD":'string', "EDAD":'string', "ESTADO_CIVIL":'string', "NIVEL_DE_INSTRUCCION":'string', "ETNIA":'string', "COD_UBIGEO_DOMICILIO":'string', "PAIS_DOMICILIO":'string', "DEPARTAMENTO_DOMICILIO":'string', "PROVINCIA_DOMICILIO":'string', "DISTRITO_DOMICILIO":'string', "FECHA":'string', "ANIO":'int64', "MES":'int64', "TIPO_LUGAR":'string', "INSTITUCION":'string', "MUERTE_VIOLENTA":'string', "NECROPSIA":'string', "DEBIDO_CAUSA_A":'string', "CAUSA_A_CIEX":'string', "DEBIDO_CAUSA_B":'string', "CAUSA_B_CIEX":'string', "DEBIDO_CAUSA_C":'string', "CAUSA_C_CIEX":'string', "DEBIDO_CAUSA_D":'string', "CAUSA_D_CIEX":'string', "DEBIDO_CAUSA_E":'string', "CAUSA_E_CIEX":'string', "DEBIDO_CAUSA_F":'string', "CAUSA_F_CIEX":'string'}

df = pd.read_csv(file_csv, names=col_names, sep=",", low_memory=False, skiprows=1, dtype=tipo_de_datos)

df9 = df.groupby(['ANIO']).N.count()

print(df9)

print(df.shape[0]) # 查看Pandas加载的记录数

求助需求 #

已尝试多种参数调整仍无法解决，恳请帮忙定位问题并提供解决方案。

内容的提问来源于stack exchange，提问作者MarC