调用.compute()报IntCastingNaNError，Dask Bag转DataFrame失败如何解决？

你遇到的报错本质是Dask Bag转DataFrame时的自动类型推断逻辑导致的：
调用bag.to_dataframe()时如果不手动指定列类型，Dask会采样前若干分区的数据推断每列dtype。如果采样数据中某列没有空值，就会被推断为不支持NaN的原生int类型。你后续追加的astype('object')、单列转float64等操作，都是在Dask的计算链路尾部追加逻辑，实际执行时会先按照推断的int类型处理每个分区的数据，这一步遇到空值就会直接抛出IntCastingNaNError，根本走不到你后续加的类型转换步骤。
而bag.compute()可以正常运行，是因为没有强制类型转换的步骤，只会原样返回MongoDB读取到的原始数据。

方案1：转DataFrame时手动指定所有列的类型（最稳妥） #

提前采样少量数据确认列名和需要的类型，在to_dataframe参数中直接指定dtype，跳过Dask的自动推断：

import pandas as pd

# 先采样少量数据获取列结构
sample_data = bag.take(1000, npartitions=1)
sample_df = pd.DataFrame(sample_data)
cols = sample_df.columns.tolist()

# 构造类型字典，这里统一设为object，也可以按需给不同列指定不同类型
dtype_dict = {col: object for col in cols}
# 如果有需要保留数值属性且允许为空的列，可以用Pandas可空类型，比如：
# dtype_dict['某数值列'] = 'Int64' # 大写I开头的Int64支持NaN
# dtype_dict['某浮点列'] = 'float64'

# 转DataFrame时直接传入类型字典
df = bag.to_dataframe(dtypes=dtype_dict)
df2 = df.compute()

方案2：直接将Bag全量计算后转Pandas DataFrame #

你总数据量只有600万条，不算大，且已经确认bag.compute()可以正常运行，可以直接跳过Dask DataFrame的步骤，减少类型转换的坑：

data_list = bag.compute()
df2 = pd.DataFrame(data_list)

方案3：提前清洗Bag中的空值（可选） #

如果确认不需要保留空值记录，可以在转DataFrame之前就过滤掉带空值的记录，避免类型推断出错：

# 比如过滤掉某列空值的记录
bag = bag.filter(lambda x: x.get('xxx') is not None)
# 转DataFrame
df = bag.to_dataframe()
df2 = df.compute()

内容的提问来源于stack exchange，提问作者Christián Szeman