基于含空值的移除规则DataFrame实现Pandas行删除（支持通配）

我有一个包含数十万行的target_df，其中可能存在错误。团队正在手动审核识别错误，需要实现灵活的组合删除逻辑来清理数据。涉及三个关键字段，希望能根据删除范围填充任意字段，将每行的空列视为通配符，删除匹配最宽泛规则的行。

以下是当前的实现代码：

import pandas as pd

target_df = pd.DataFrame({'id_1': ['1', '1', '1', '1', '2', '4', '4'],
                          'id_2': ['2', '2', '3', '3', '3', '5', '5'],
                          'attr': ['A', 'B', 'A', 'B', 'C', 'C', 'D']})
remove_df = pd.DataFrame({'id_1': ['1', '1', '4'],
                          'id_2': ['2', '3', None],
                          'attr': ['A', None, None]})

result_df = target_df.copy()
for _, row in remove_df.iterrows():
    row = row.loc[row.notna()]
    row = row.to_frame().T.reset_index(drop=True)
    filter_cols = row.columns
    mask = result_df[filter_cols].eq(row.values).all(axis=1)
    result_df = result_df[~mask]

result_df

运行结果：

id_1 id_2 attr
1    1    2    B
4    2    3    C

我的现有思路 #

• 按remove_df中非空值的唯一组合分块处理，应用掩码，但需要处理7种非空/空列的排列，较为繁琐。
• 考虑用merge()来确定要删除的行，但可能需要在remove_df值为None时，用target_df的所有可能值扩展它，或者针对每种非空列组合分别使用on=[cols]进行合并。
• 预先构建非空列组合的元组，然后遍历这些组合，这样最多只需执行7次而非逐行处理。

预计删除规则不会太多（估计几百条），如果上述方法足够Pythonic，也可以接受。主要是没找到完全匹配的问题，作为Python中级开发者，想了解其他人的实现思路。

优化方案 #

方案一：按非空列分组批量处理 #

核心思路是把remove_df按非空列的组合分组，同一组的规则可以批量生成掩码，减少循环次数（最多7次，对应3个字段的非空组合数），比逐行迭代更高效。

import pandas as pd

target_df = pd.DataFrame({'id_1': ['1', '1', '1', '1', '2', '4', '4'],
                          'id_2': ['2', '2', '3', '3', '3', '5', '5'],
                          'attr': ['A', 'B', 'A', 'B', 'C', 'C', 'D']})
remove_df = pd.DataFrame({'id_1': ['1', '1', '4'],
                          'id_2': ['2', '3', None],
                          'attr': ['A', None, None]})

# 为每条规则标记非空列的组合
remove_df['key_cols'] = remove_df.apply(lambda x: tuple(x.dropna().index), axis=1)

# 按非空列组合分组处理
mask_total = pd.Series(False, index=target_df.index)
for cols, group in remove_df.groupby('key_cols'):
    # 获取当前组的规则值，去重避免重复匹配
    rules = group[list(cols)].drop_duplicates()
    # 用merge批量匹配目标数据
    mask = target_df.merge(rules, on=list(cols), how='left', indicator=True)['_merge'] == 'both'
    mask_total = mask_total | mask

# 过滤掉匹配的行
result_df = target_df[~mask_total]
print(result_df)

运行结果与原方法一致，这种方法避免了逐行循环，且不需要处理占位符冲突，稳健性更强。

方案二：利用广播实现向量化匹配 #

如果规则数量较少，可以用numpy广播生成匹配矩阵，实现完全向量化的匹配逻辑：

import pandas as pd
import numpy as np

target_df = pd.DataFrame({'id_1': ['1', '1', '1', '1', '2', '4', '4'],
                          'id_2': ['2', '2', '3', '3', '3', '5', '5'],
                          'attr': ['A', 'B', 'A', 'B', 'C', 'C', 'D']})
remove_df = pd.DataFrame({'id_1': ['1', '1', '4'],
                          'id_2': ['2', '3', None],
                          'attr': ['A', None, None]})

# 将空值替换为不会出现在目标数据中的占位符（这里用空字符串，需根据实际数据调整）
remove_arr = remove_df.fillna('').values
target_arr = target_df.values

# 广播生成匹配矩阵：空占位符视为通配符，匹配任意值
match_matrix = np.all(
    (remove_arr[:, np.newaxis] == target_arr) | (remove_arr[:, np.newaxis] == ''),
    axis=2
)

# 标记所有匹配任意规则的行
to_remove = np.any(match_matrix, axis=0)
result_df = target_df[~to_remove]
print(result_df)

注意：需要确保占位符不会出现在target_df的真实数据中，否则会导致误匹配。如果数据包含空字符串，可以替换为其他特殊值（如np.inf）并调整判断逻辑。

总结 #

• 当规则数量在几百条量级时，两种优化方案都比原逐行迭代方法更高效，尤其是分组merge的方法兼顾了效率与稳健性。
• 原方法虽然直观，但每次循环都会生成新的DataFrame，存在不必要的内存开销，规则越多效率差距越明显。

内容的提问来源于stack exchange，提问作者Hendy