Pandas判断两个DataFrame任意空值并将对应单元格都设为NaN的最优方法

你原来的嵌套循环属于Python层级的逐元素遍历，对于400*1200规模的DataFrame来说性能损耗非常大，直接使用pandas内置的矢量化操作即可毫秒级完成需求：

# 生成布尔掩码：对应位置只要任意一个df为NaN，掩码值为True
mask = df1.isna() | df2.isna()
# 批量将掩码为True的位置设为NaN
df1[mask] = np.nan
df2[mask] = np.nan

方案说明 #

• 核心逻辑是利用isna()方法批量生成全DataFrame的缺失值布尔矩阵，再通过按位或运算得到需要统一置空的位置
• 所有运算均为pandas底层C实现的矢量化操作，完全避免了Python循环的额外开销，执行效率相比你原来的循环写法提升至少数百倍
• 如果两个DataFrame的索引、列名不完全对齐，可先执行以下代码统一索引后再操作：

  df1 = df1.reset_index(drop=True)
  df2 = df2.reset_index(drop=True)
  

内容的提问来源于stack exchange，提问作者amestrian