为何Dask DataFrame调用fillna(0)后NaN值仍未被替换？

问题核心原因 #

Dask是延迟计算框架，你代码中写的fillna(0)只是在计算链中追加了处理逻辑，并不会立刻执行生效。
本次报错发生在Dask内部读取SQL分块的阶段，还没有执行到你定义的fillna逻辑，具体触发逻辑如下：

1. 调用dd.read_sql_table时，Dask会默认采样表的前5行数据，推断各列的数据类型作为全局元数据。如果采样的前几行中type_id都没有NULL值，Dask会把type_id的元数据类型判定为整数类型。
2. 实际执行计算（你代码中调用len(df.index)触发全量计算）读取全量数据的其他分块时，遇到了数据库中存储的NULL值，Pandas会自动把这部分分块的type_id列转为带NaN的float类型。
3. Dask会强制将每个读取到的分块数据转换为预先推断的整数类型，此时列中存在NaN就触发了「无法将非有限值转换为整数」的报错。

解决方案 #

你可以选择以下任意一种方式解决问题：

• 手动指定数据类型，避免自动推断错误
  在read_sql_table中加入dtype参数，显式声明type_id的类型为支持NaN的float或者可空整数类型：

  import pandas as pd
  dataframe = dd.read_sql_table(
      "myTable", 
      uri, 
      "id", 
      columns=["id", "name", "type_id"],
      # 二选一即可：用float类型，或者Pandas的可空整数类型
      dtype={"type_id": "float64"}
      # dtype={"type_id": pd.Int64Dtype()}
  )
  

• 扩大采样范围，让类型推断更准确
  调整read_sql_table的head_rows参数，增加采样行数，确保采样数据中包含带NULL的行，让Dask自动识别正确类型：

  dataframe = dd.read_sql_table(
      "myTable", 
      uri, 
      "id", 
      columns=["id", "name", "type_id"],
      head_rows=1000 # 根据实际表数据调整，确保采样到有NULL的行
  )
  

• 在SQL查询层面直接处理NULL
  改用read_sql_query写自定义查询，用数据库原生函数将NULL转换为0，从源头避免读取到NaN：

  query = "SELECT id, name, COALESCE(type_id, 0) AS type_id FROM myTable"
  dataframe = dd.read_sql_query(query, uri, index_col="id")
  

内容的提问来源于stack exchange，提问作者Arkaik