求助：Pandas中SparseArray赋值报错的高效解决方法

问题背景 #

使用Pandas 2.1.0版本创建稀疏DataFrame后，对切片复制得到的稀疏Series进行全量赋值时，触发了TypeError: SparseArray does not support item assignment via setitem错误，具体操作及报错如下：

原始创建代码 #

import pandas as pd
print(pd.__version__) # '2.1.0'
df=pd.DataFrame([[1., 0., 1.5], [0., 2., 0.]], dtype=pd.SparseDtype("float32"))

尝试的赋值操作 #

df_sliced=df.iloc[0].copy() # 这一步执行正常
df_sliced.iloc[:]=0 # 执行此语句报错

错误信息 #

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/CSC_CONTAINER/miniconda/envs/env1/lib/python3.9/site-packages/pandas/core/indexing.py", line 885, in __setitem__
    iloc._setitem_with_indexer(indexer, value, self.name)
  File "/CSC_CONTAINER/miniconda/envs/env1/lib/python3.9/site-packages/pandas/core/indexing.py", line 1895, in _setitem_with_indexer
    self._setitem_single_block(indexer, value, name)
  File "/CSC_CONTAINER/miniconda/envs/env1/lib/python3.9/site-packages/pandas/core/indexing.py", line 2138, in _setitem_single_block
    self.obj._mgr = self.obj._mgr.setitem(indexer=indexer, value=value)
  File "/CSC_CONTAINER/miniconda/envs/env1/lib/python3.9/site-packages/pandas/core/internals/managers.py", line 399, in setitem
    return self.apply("setitem", indexer=indexer, value=value)
  File "/CSC_CONTAINER/miniconda/envs/env1/lib/python3.9/site-packages/pandas/core/internals/managers.py", line 354, in apply
    applied = getattr(b, f)(**kwargs)
  File "/CSC_CONTAINER/miniconda/envs/env1/lib/python3.9/site-packages/pandas/core/internals/blocks.py", line 1758, in setitem
    values[indexer] = value
  File "/CSC_CONTAINER/miniconda/envs/env1/lib/python3.9/site-packages/pandas/core/arrays/sparse/array.py", line 583, in __setitem__
    raise TypeError(msg)
TypeError: SparseArray does not support item assignment via setitem

高效解决方法 #

针对SparseDtype的赋值需求，根据场景不同可以选择以下几种高效方案：

1. 全量赋值为填充值：直接修改稀疏属性 #

如果要赋值的内容正好是SparseArray的fill_value（示例中是0），可以直接修改填充值并清空非填充数据，操作最轻量化：

df_sliced = df.iloc[0].copy()
# 设置填充值为目标值，同时清空所有非填充数据
df_sliced.array.fill_value = 0
df_sliced.array._sp_values = df_sliced.array._sp_values[:0]

2. 通用全量赋值：转换为普通数组后重构 #

如果赋值内容不是填充值，先将稀疏序列转为普通数组，赋值后重新构建稀疏序列，兼顾通用性和效率：

df_sliced = df.iloc[0].copy()
# 转换为普通numpy数组
temp_arr = df_sliced.to_numpy()
temp_arr[:] = 0  # 这里可以替换为任意目标值
# 重新构建带SparseDtype的Series
df_sliced = pd.Series(temp_arr, index=df_sliced.index, dtype=pd.SparseDtype("float32", fill_value=0))

3. 高效全量赋值：直接创建新稀疏序列 #

完全跳过复制原数据的步骤，直接生成目标稀疏序列，性能最优：

# 直接生成全为0的稀疏Series，索引与原切片一致
df_sliced = pd.Series(
    [0]*len(df.iloc[0]),
    index=df.iloc[0].index,
    dtype=pd.SparseDtype("float32")
)

4. 部分赋值：操作稀疏数组的非填充数据 #

针对仅修改部分元素的场景，直接操作SparseArray的索引和值数组，避免全量转换，保持稀疏特性：

df_sliced = df.iloc[0].copy()
# 获取原稀疏数组的非填充值索引和对应值
sp_indices = df_sliced.array.indices
sp_values = df_sliced.array.values

# 示例：将索引为0和2的元素修改为5
mask = (sp_indices == 0) | (sp_indices == 2)
sp_values[mask] = 5

# 重新构建SparseArray并赋值给Series
df_sliced.array = pd.SparseArray(
    sp_values,
    indices=sp_indices,
    dtype=pd.SparseDtype("float32")
)

内容的提问来源于stack exchange，提问作者farid