Dask DataFrame空值未替换为"NA"字符串的问题求助

问题核心原因 #

你遇到的问题主要来自两点：

• Dask DataFrame的方法是惰性计算且默认返回新对象，不会原地修改原数据，你没有将fillna()的结果重新赋值给变量。
• 读取CSV时的NA参数设置，可能导致部分空值未被正确识别为NaN，使得fillna()无法匹配替换。

解决方案 #

1. 重新赋值fillna的结果 #

Dask的fillna()不会修改原DataFrame，必须将结果赋值给变量才能生效：

import pandas as pd
import dask.dataframe as dd
import numpy as np

# 调整读取参数，确保空值被正确识别
read = dd.read_csv("multianno.csv", sep=",", low_memory=False, 
                   keep_default_na=True,  # 保留默认NA识别规则
                   na_values=["", "NONE", np.nan])  # 补充需要识别为NA的特殊值
omim = pd.read_excel('OMIM.xlsx')
Merge = dd.merge(read, omim, on="Gene.refGene", how="left")
# 关键：将fillna结果重新赋值给Merge
Merge = Merge.fillna({"ID": "NA", "genename": "NA", "phenotype": "NA"})

# 触发计算查看实际结果（Dask是延迟执行，需主动触发）
print(Merge.compute())

2. 优化CSV读取的NA识别规则 #

你原代码中keep_default_na=False会关闭Pandas默认的空值识别逻辑，只有显式指定的na_values会被识别为NaN。如果你的数据中存在空字符串、"NONE"这类值，需要补充到na_values里，确保fillna()能匹配到这些空值。

3. 触发Dask的计算 #

Dask是延迟执行框架，所有操作仅生成计算任务图，不会立即执行。如果要查看实际结果，需要调用compute()方法（将数据加载到内存）或者persist()方法（将数据保留在分布式存储中）。

验证效果 #

执行修改后的代码后，指定列的空值会被替换为字符串"NA"，与你的预期输出一致。

内容的提问来源于stack exchange，提问作者RK03