You need to enable JavaScript to run this app. Pandas分块读取含NaN的整数列CSV,能否在分块前删除对应行?
优惠活动
大模型
产品
解决方案
定价
更多

Pandas分块读取含NaN的整数列CSV,能否在分块前删除对应行?

分块读取大CSV时整数列含NaN触发读取报错的解决方案

报错根因

报错发生在pandas底层的文本解析类型转换阶段,此时分块数据还没有加载成可操作的DataFrame对象。由于原生Python int类型不支持存储NaN值,当解析器遇到列内空值时就会直接抛出转换异常,根本无法进入chunk循环执行dropna逻辑。

注意原代码存在一个配置不匹配问题:dtype定义中的键名"percentage"和实际CSV的列名"percent"不一致,会导致该列的类型指定失效。


可落地的适配方案

所有方案都不需要加载全量文件到内存,也不会把主键列设置为float类型影响数据库写入要求。

方案1:使用pandas可空整数类型替代原生int(优先推荐,完全适配现有代码结构)

pandas 1.0及以上版本提供了支持存储NaN的扩展整数类型(大写Int64,和原生小写int、numpy的int64做区分),在读取阶段不会触发类型转换异常,也不会出现float类型的精度丢失问题。
代码修改点:

  • 把dtype配置里number_of_things的类型从原生int替换为"Int64"
  • 每个chunk加载完成后,先过滤掉主键列的空值行,再把列转成原生int类型适配数据库主键要求
def import_data(self):
    dtype = {
        "title": str,
        # 用大写I的可空Int64,支持存储NaN,不会触发读取报错
        "number_of_things": "Int64",
        "percent": float,
    }
    chunks = pd.read_csv(
        self.get_file(),
        compression="gzip",
        sep=",",
        quotechar='"',
        dtype=dtype,
        error_bad_lines=False,
        chunksize=10000,
    )
    for chunk in chunks:
        # 过滤掉主键列缺失的行
        chunk.dropna(subset=["number_of_things"], inplace=True)
        # 过滤完成后转为原生int,适配数据库主键要求
        chunk["number_of_things"] = chunk["number_of_things"].astype(int)
        chunk = self.organize_chunk(chunk)
        self.upsert(chunk)

方案2:低版本pandas兼容方案——读取阶段临时移除该列的dtype指定

如果使用的pandas版本低于1.0,不支持可空整数类型,可以把number_of_things列从dtype配置中移除,让pandas自动推断类型:

  • 对于带空值的整数列,pandas自动推断时会临时转为float64类型,这个过程不会触发读取报错
  • 每个chunk加载完成后,先过滤掉空值行,再把列从临时float类型转回原生int即可
def import_data(self):
    # 从dtype配置中移除number_of_things的指定,交由pandas自动推断类型
    dtype = {
        "title": str,
        "percent": float,
    }
    chunks = pd.read_csv(
        self.get_file(),
        compression="gzip",
        sep=",",
        quotechar='"',
        dtype=dtype,
        error_bad_lines=False,
        chunksize=10000,
    )
    for chunk in chunks:
        chunk.dropna(subset=["number_of_things"], inplace=True)
        # 空值全部过滤完成后,临时的float类型可直接转为int,在常规业务整数值范围内不会有精度问题
        chunk["number_of_things"] = chunk["number_of_things"].astype(int)
        chunk = self.organize_chunk(chunk)
        self.upsert(chunk)

常见误区说明

分块读取的机制是按块从磁盘增量读取文件,不存在“加载完全部chunk之后再进入循环”的前置环节,所有行的过滤操作都必须兼容增量读取的流程,没办法在分块循环开始前完成全量数据的过滤。

内容的提问来源于stack exchange,提问作者Sean Payne

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.28 19:36:03