Pandas分块读取含NaN的整数列CSV,能否在分块前删除对应行?
分块读取大CSV时整数列含NaN触发读取报错的解决方案
报错根因
报错发生在pandas底层的文本解析类型转换阶段,此时分块数据还没有加载成可操作的DataFrame对象。由于原生Python int类型不支持存储NaN值,当解析器遇到列内空值时就会直接抛出转换异常,根本无法进入chunk循环执行dropna逻辑。
注意原代码存在一个配置不匹配问题:dtype定义中的键名
"percentage"和实际CSV的列名"percent"不一致,会导致该列的类型指定失效。
可落地的适配方案
所有方案都不需要加载全量文件到内存,也不会把主键列设置为float类型影响数据库写入要求。
方案1:使用pandas可空整数类型替代原生int(优先推荐,完全适配现有代码结构)
pandas 1.0及以上版本提供了支持存储NaN的扩展整数类型(大写Int64,和原生小写int、numpy的int64做区分),在读取阶段不会触发类型转换异常,也不会出现float类型的精度丢失问题。
代码修改点:
- 把dtype配置里
number_of_things的类型从原生int替换为"Int64" - 每个chunk加载完成后,先过滤掉主键列的空值行,再把列转成原生int类型适配数据库主键要求
def import_data(self): dtype = { "title": str, # 用大写I的可空Int64,支持存储NaN,不会触发读取报错 "number_of_things": "Int64", "percent": float, } chunks = pd.read_csv( self.get_file(), compression="gzip", sep=",", quotechar='"', dtype=dtype, error_bad_lines=False, chunksize=10000, ) for chunk in chunks: # 过滤掉主键列缺失的行 chunk.dropna(subset=["number_of_things"], inplace=True) # 过滤完成后转为原生int,适配数据库主键要求 chunk["number_of_things"] = chunk["number_of_things"].astype(int) chunk = self.organize_chunk(chunk) self.upsert(chunk)
方案2:低版本pandas兼容方案——读取阶段临时移除该列的dtype指定
如果使用的pandas版本低于1.0,不支持可空整数类型,可以把number_of_things列从dtype配置中移除,让pandas自动推断类型:
- 对于带空值的整数列,pandas自动推断时会临时转为float64类型,这个过程不会触发读取报错
- 每个chunk加载完成后,先过滤掉空值行,再把列从临时float类型转回原生int即可
def import_data(self): # 从dtype配置中移除number_of_things的指定,交由pandas自动推断类型 dtype = { "title": str, "percent": float, } chunks = pd.read_csv( self.get_file(), compression="gzip", sep=",", quotechar='"', dtype=dtype, error_bad_lines=False, chunksize=10000, ) for chunk in chunks: chunk.dropna(subset=["number_of_things"], inplace=True) # 空值全部过滤完成后,临时的float类型可直接转为int,在常规业务整数值范围内不会有精度问题 chunk["number_of_things"] = chunk["number_of_things"].astype(int) chunk = self.organize_chunk(chunk) self.upsert(chunk)
常见误区说明
分块读取的机制是按块从磁盘增量读取文件,不存在“加载完全部chunk之后再进入循环”的前置环节,所有行的过滤操作都必须兼容增量读取的流程,没办法在分块循环开始前完成全量数据的过滤。
内容的提问来源于stack exchange,提问作者Sean Payne
相关产品推荐
相关产品推荐

