如何高效替换大稀疏DataFrame中的值为字典对应值？

这问题我太懂了！用df.to_sparse().replace(d)确实会踩大坑——哪怕你的DataFrame已经是稀疏格式，replace方法本质上还是会遍历所有元素，哪怕99.9%都是NaN，完全没发挥稀疏结构的优势。针对你10000行×1500列的规模，咱们换个思路，直接操作稀疏结构里的非缺失值，速度会爆炸快。

最优方案：利用stack()+map()+unstack() #

这个方法的核心是只处理实际存在的非NaN值，完全跳过那些空值：

# 1. 把稀疏DataFrame的非缺失值堆叠成Series（只保留有值的行+列组合）
sparse_series = df.stack()
# 2. 用字典映射替换值
sparse_series = sparse_series.map(d)
# 3. 重新展开成DataFrame，自动保留原来的稀疏结构
df_result = sparse_series.unstack()
# 如果需要明确保持稀疏格式（部分pandas版本可能自动转为密集）
df_result = df_result.to_sparse()

为什么这个方法快？

拿你的示例来说，stack()之后只会得到4个元素的Series（对应Mary-Apples、Jane-Bananas等），map()只需要处理这4个值，然后unstack()瞬间恢复原结构。对于你的10k×1.5k的稀疏DataFrame，实际需要处理的非缺失值可能只有几千个，整个过程几秒内就能完成。

备选方案：直接操作稀疏底层数据 #

如果想更底层地利用稀疏结构，可以直接提取非缺失值的位置和值，替换后重建DataFrame：

import numpy as np
from pandas import SparseDataFrame

# 提取非缺失值的(行,列)坐标和对应值
coords = df.stack().index.values
original_values = df.stack().values

# 用字典替换值
new_values = [d[v] for v in original_values]

# 重建稀疏DataFrame并对齐原结构
df_result = SparseDataFrame(
    data=new_values,
    index=[c[0] for c in coords],
    columns=[c[1] for c in coords],
    default_fill_value=np.nan
).reindex_like(df)

为什么原来的方法慢到离谱？ #

df.replace(d)不会区分稀疏/密集格式，它会逐个检查DataFrame的每一个元素——哪怕你的DataFrame只有850kB的稀疏数据，底层对应的密集结构是1500万元素，replace会遍历所有1500万个位置，这就导致了30分钟都跑不完的尴尬。

内容的提问来源于stack exchange，提问作者famargar