如何向量化检查并更新全为空字符串/NaN的DataFrame列？

针对你的需求——只修改完全由空字符串（或NaN）组成的列，列中只要有非空值就跳过，这里有个高效的向量化方案，完全避免低效的逐行迭代，符合Pandas的Pythonic风格：

import pandas as pd
import numpy as np

# 先构建你的示例DataFrame
np.random.seed(0)
df = pd.DataFrame(np.random.randn(10, 2), columns=['a', 'b'], index=np.random.randint(1,100,10)).sort_index()
df['c'] = ''
df['d'] = ''
df.iloc[np.random.randint(low=0,high=(len(df)-1)), df.columns.get_loc('c')] = 'Avoid me'

# 核心步骤1：识别所有全为空字符串/NaN的列
# 逻辑：把空字符串替换为NaN后，检查整列是否全为NaN（覆盖全空、全NaN、空+NaN混合的情况）
all_empty_cols = df.columns[df.apply(lambda col: col.mask(col.eq('')).isna().all())]

# 核心步骤2：批量更新这些列
df[all_empty_cols] = 'Update Me'

print(df)

方案解析 #

1. 列的识别逻辑：

   • col.mask(col.eq(''))会把列中的空字符串替换成NaN，这样不管列是全空、全NaN，还是两者混合，都能统一转换成全NaN的列。
   • .isna().all()检查整列是否所有元素都是NaN，从而精准筛选出符合要求的列。
   • 如果你的需求只严格针对全为空字符串的列（不包含NaN），可以简化成：

     all_empty_str_cols = df.columns[df.apply(lambda col: col.eq('').all())]
     

2. 批量更新的优势：

   • 直接对筛选出的列进行批量赋值，这是Pandas最擅长的向量化操作，速度比iterrows()或逐行循环快几个数量级，尤其是处理大型DataFrame时差距更明显。

对比你之前的尝试 #

• 逐行迭代（iterrows()/for i in range(len(df))）：Pandas的逐行操作本质上是遍历Python对象，效率极低，完全不推荐用于大数据集。
• len(df['c'].unique()) ==1的判断：如果列中存在NaN，unique()会把NaN视为独立值，导致误判；同时unique()的计算成本远高于all()，没必要。
• np.where的方法：这个会修改列中所有空值，但没有先判断整列是否全空，不符合你“有非空值就跳过”的核心需求。

边界情况补充 #

如果你的场景中需要把**空白字符串（比如' '）**也视为“空”，可以调整列的识别逻辑：

# 把空字符串、NaN、空白字符串都视为空，判断整列是否全是这类值
all_blank_cols = df.columns[df.apply(lambda col: col.fillna('').str.strip().eq('').all())]
df[all_blank_cols] = 'Update Me'

内容的提问来源于stack exchange，提问作者Torc