如何对两个同索引同长度的Pandas DataFrame同步过滤NaN行

需求说明 #

两个索引一致、长度相同的Pandas DataFrame，只要任意一个DataFrame的对应行存在NaN，就同时移除两个DataFrame中的该行，最终仅保留两行均无NaN的记录。

示例数据构造 #

import pandas as pd
import numpy as np

# 构造示例DataFrame
df1 = pd.DataFrame(
    {'y': [772.00, 648.00, np.nan]},
    index=pd.to_datetime(['2019-08-01 00:00:00', '2019-08-01 00:15:00', '2019-08-01 00:30:00'])
)

df2 = pd.DataFrame(
    {'y': [612.00, np.nan, 500.00]},
    index=pd.to_datetime(['2019-08-01 00:00:00', '2019-08-01 00:15:00', '2019-08-01 00:30:00'])
)

简便实现方法 #

方法一：布尔索引过滤（高效推荐）

直接通过布尔运算筛选出两行均无NaN的索引，再过滤两个DataFrame：

# 获取两行都无NaN的布尔索引
valid_rows = df1['y'].notna() & df2['y'].notna()

# 过滤得到清理后的DataFrame
df1_clean = df1[valid_rows]
df2_clean = df2[valid_rows]

执行后，df1_clean和df2_clean仅保留第一行有效数据。

方法二：合并后删除NaN（简洁直观）

将两个DataFrame合并后删除含NaN的行，再拆分回原结构：

# 按列合并两个DataFrame
combined_df = pd.concat([df1, df2], axis=1, keys=['df1', 'df2'])

# 删除任意列含NaN的行
combined_clean = combined_df.dropna()

# 拆分回原DataFrame
df1_clean = combined_clean['df1']
df2_clean = combined_clean['df2']

内容的提问来源于stack exchange，提问作者Luca