Python中拆分含None与不含None的DataFrame问题

原始DataFrame如下：

需要得到两个DataFrame：

• 包含aaa和/或bbb列存在None值的行，命名为filter_nulls
• 完全不含None值的行，命名为df_out

用户尝试的代码（无法得到预期结果）：

import pandas as pd

df_out = {
    'name': [ 'Mick', 'Ivan', 'Ivan-Peter', 'Juli'],
    'aaa': [None, 'A', '1', '1'],
    'bbb': [None, 'C', None, 'P'],
}
print(df_out)

filter_nulls = df_out[df_out['aaa'].isnull()|(df_out['bbb'] is None)]
print(filter_nulls)

df_out = df_out.loc[filter_nulls].reset_index(level=0, drop=True)
print(df_out)

错误原因 #

1. 直接把字典当作DataFrame使用，未先将字典转换为pandas的DataFrame对象，导致无法调用isnull()、loc等专属方法。
2. 判断空值逻辑错误：df_out['bbb'] is None是判断整个Series是否为None，而非逐个元素判断空值，pandas中需用isnull()方法检测元素空值。
3. 结果拆分逻辑错误：df_out应为不含任何空值的行，需与filter_nulls取互补集。

正确代码实现 #

import pandas as pd

# 将字典转换为DataFrame
df = pd.DataFrame({
    'name': ['Mick', 'Ivan', 'Ivan-Peter', 'Juli'],
    'aaa': [None, 'A', '1', '1'],
    'bbb': [None, 'C', None, 'P'],
})

# 筛选aaa或bbb列存在空值的行
filter_nulls = df[df['aaa'].isnull() | df['bbb'].isnull()]

# 筛选完全不含空值的行（取filter_nulls的互补行）
df_out = df.drop(filter_nulls.index).reset_index(drop=True)

# 输出结果
print("包含空值的行：")
print(filter_nulls)
print("\n完全不含空值的行：")
print(df_out)

运行结果 #

• filter_nulls输出：

name   aaa   bbb
0       Mick  None  None
2  Ivan-Peter     1  None

• df_out输出：

name aaa bbb
1   Ivan   A   C
3   Juli   1   P

内容的提问来源于stack exchange，提问作者Vityata