基于第二个DataFrame规则删除pd.DataFrame行，求更优Python实现

我有两个DataFrame：x和y。其中x包含分组变量S、A以及数值变量V，需要根据y定义的(S,A)组对删除x中的行。y包含变量S和A_D，二者共同定义需从x中删除的(S,A)对：

• y['A_D']的每个元素可能是逗号分隔的A元素字符串，拆分后每个元素对应x中该S组下需删除的A值
• 若y['A_D']中某S对应的元素为'all'，则删除x中该S的整组数据

我已经实现了满足需求的解法，但想知道有没有更简洁、更符合Python风格的实现方式？

示例数据 #

import pandas as pd
import numpy as np

# 定义x
x = pd.DataFrame({'S': np.repeat(['s1','s2','s3'], 5),
                  'A': [j for i in range(3) for j in ['a','b','c','d','e']],
                  'V': np.random.uniform(size=15) })

# 定义y：指定需要删除的(S,A)对，s1整组删除，s2删除a和d，s3删除c
y = pd.DataFrame({'S':['s1','s2','s3'],
                  'A_D':['all','a, d', 'c']})

原实现代码 #

# 展开y为新的DataFrame z，拆分逗号分隔的元素并去除空格
z = []
for i, r in y.iterrows():
    z.append(pd.DataFrame({'S'  : r[0],
                           'A_D': [u.strip() for u in str(r[1]).split(',')]}))
z = pd.concat(z)

# 第一步：删除标记为'all'的S组
x_d = x.merge(z[z['A_D']=='all'],how='left')
x_d = x_d[x_d['A_D']!='all'].drop(columns= 'A_D')

# 第二步：删除指定的(S,A)对
x_d = x_d.merge(z[z['A_D']!='all'],how='left', left_on = ['S','A'], right_on = ['S', 'A_D'])
x_d = x_d[pd.isna(x_d['A_D'])].drop(columns= 'A_D').reset_index(drop=True)

print(x_d)

预期结果 #

S  A         V
0  s2  b  0.714625
1  s2  c  0.852788
2  s2  e  0.909382
3  s3  a  0.895031
4  s3  b  0.153444
5  s3  d  0.227501
6  s3  e  0.586467

可以利用Pandas的字符串处理和explode方法替代循环，再通过布尔索引直接过滤，代码更紧凑且效率更高：

import pandas as pd
import numpy as np

# 定义数据（同上）
x = pd.DataFrame({'S': np.repeat(['s1','s2','s3'], 5),
                  'A': [j for i in range(3) for j in ['a','b','c','d','e']],
                  'V': np.random.uniform(size=15) })
y = pd.DataFrame({'S':['s1','s2','s3'],
                  'A_D':['all','a, d', 'c']})

# 1. 处理y：拆分A_D为列表、去空格，然后展开行
y_processed = y.assign(A_D=y['A_D'].str.split(',').apply(lambda lst: [s.strip() for s in lst])).explode('A_D')

# 2. 提取需要整组删除的S集合
drop_all_S = set(y_processed[y_processed['A_D'] == 'all']['S'])

# 3. 提取需要删除的(S,A)对（排除'all'的情况）
drop_pairs = y_processed[y_processed['A_D'] != 'all'][['S', 'A_D']].rename(columns={'A_D': 'A'})

# 4. 过滤x：先排除整组删除的S，再排除指定的(S,A)对
x_filtered = x[
    ~x['S'].isin(drop_all_S) &
    ~x.set_index(['S', 'A']).index.isin(drop_pairs.set_index(['S', 'A']).index)
].reset_index(drop=True)

print(x_filtered)

实现说明 #

• 用str.split+apply拆分并清洗A_D，再用explode直接展开行，替代原代码的循环拼接，更符合Pandas的向量化操作风格
• 用集合存储要整组删除的S，用MultiIndex快速匹配要删除的(S,A)对，过滤逻辑更直观
• 全程避免了多次merge操作，减少了中间DataFrame的生成，代码更简洁且性能更优

内容的提问来源于stack exchange，提问作者moooh