多Pandas DataFrame含缺失值行删除问题及分层索引疑问

一、断言失败的原因 #

你搞混了两个判断逻辑的核心差异：

• ~(model_data_with_NA.isna().all(axis=1))：isna().all(axis=1)会标记整行所有列都是缺失值的行，取反后，ok_rows保留的是至少有一列非缺失的行——哪怕这行里有其他列是NA，也会被留下来。
• dropna()默认参数是how='any'，意思是只要行里存在任意一个缺失值就删除，最终model_data里只保留所有列都没有缺失值的行。

这两个集合的范围完全不同：ok_rows包含了部分带NA的行，而model_data是完全无NA的行，所以sum(ok_rows)必然大于len(model_data)，断言自然返回False。

如果要让两者结果一致，你需要把ok_rows的判断改成：

ok_rows = ~(model_data_with_NA.isna().any(axis=1))

isna().any(axis=1)标记的是行内存在至少一个NA的行，取反后就是所有列都无NA的行，和dropna()默认逻辑完全匹配，这时断言就会成立。

二、分层索引是否便于提取原列？ #

是的，分层索引（MultiIndex）非常适合这种场景，尤其是当你拼接的多个DataFrame有重复列名时，分层索引能帮你清晰区分不同来源的列，提取起来更高效。

举个简单的实现例子：
假设你有两个原DataFrame：df_a和df_b，先给它们的列加上上层索引（比如用原DataFrame的名称）：

import pandas as pd

# 给每个DataFrame的列添加分层索引
df_a.columns = pd.MultiIndex.from_product([['df_a'], df_a.columns])
df_b.columns = pd.MultiIndex.from_product([['df_b'], df_b.columns])

# 按列拼接
model_data_with_NA = pd.concat([df_a, df_b], axis=1)

之后要提取原df_a的所有列，直接写model_data_with_NA['df_a']就能拿到，无需逐个列名去筛选，逻辑清晰不易出错。

如果原DataFrame的列名完全不重复，不用分层索引也能提取，但分层索引能让你更直观地追溯列的来源，在DataFrame数量多的时候优势更明显。

内容的提问来源于stack exchange，提问作者David Katz