Dask计算列均值触发ValueError：无法将字符串转换为浮点数

• 对大型Dask DataFrame执行new_deceased列均值计算命令：

dask_df.new_deceased.mean(numeric_only=True).compute()

触发报错：ValueError: could not convert string to float: 'new_confirmed'

• 读入CSV时已指定new_confirmed列类型为float，查看列元数据返回结果如下，显示dtype为float64，看似配置正确：

Dask Series Structure:
npartitions=525
    float64
        ...
        ...   
        ...
        ...
Name: new_confirmed, dtype: float64
Dask Name: getitem, 2101 tasks

• 核心疑问：
  1. 元数据显示new_confirmed为float64类型，为何仍出现字符串转浮点数报错
  2. 计算目标是new_deceased列的统计值，为何Dask会校验new_confirmed列的类型触发报错

• 关于元数据与实际类型不符：Dask是惰性执行框架，读入数据、指定dtype时不会立刻加载全量数据做类型校验，所有计算逻辑都会等到调用compute()时才真正执行。其展示的dtype元数据是基于读入时用户指定值、或首个分区的采样值生成的，不会在元数据生成阶段扫描全量所有分区的实际数据做校验，元数据标记的类型和后续分区实际存储值类型不一致是高频问题。从报错信息里待转换的字符串正好是列名new_confirmed判断，大概率是读入多分片CSV时，非首个分片的表头行没有被自动跳过，或是某几行解析错位导致列值偏移，字符串'new_confirmed'混入了数值列，自然无法转换为float。
• 关于非目标列触发报错：一方面mean(numeric_only=True)在旧版本Dask的实现逻辑中，会对当前DataFrame/Series关联的所有元数据列做类型校验，不是仅处理当前选中的列；另一方面如果存在CSV解析列错位的问题，字符串'new_confirmed'本身就已经混入了你要计算的new_deceased列的分区数据里，计算均值做类型转换时自然会抛出这个错误，和你有没有指定计算其他列无关。

• 先定位脏数据确认问题，执行以下命令扫描全量数据找出类型不符合的行：

# 筛选new_confirmed列值不是数值类型的行
bad_rows = dask_df[~dask_df.new_confirmed.map(
    lambda x: isinstance(x, (float, int)), 
    meta=('new_confirmed', bool)
)].compute()
print(bad_rows)

执行后基本可以看到若干行内容就是CSV表头，或是列错位的异常行。

• 从读入源头修复问题：如果是读入多个带独立表头的CSV分片，读入时配置skiprows参数跳过所有分片的表头行，也可以加上on_bad_lines='skip'参数（适配Pandas 1.3+版本）自动跳过格式错误的行，从根源避免脏数据进入DataFrame。
• 计算阶段规避非目标列校验：如果不需要对其他列做聚合，提前只筛选目标列再计算，就不会触发全列类型扫描：

dask_df[['new_deceased']].mean(numeric_only=True).compute()

• 兜底类型转换：如果需要保留全列对象做计算，可以在聚合前对数值列做强制转换，将无法转换的异常值置为空值：

# 对异常列做数值转换兜底，转换失败的值设为NaN
import dask.dataframe as dd
dask_df['new_confirmed'] = dd.to_numeric(dask_df['new_confirmed'], errors='coerce')
dask_df['new_deceased'] = dd.to_numeric(dask_df['new_deceased'], errors='coerce')

内容的提问来源于stack exchange，提问作者rochimer