Pandas如何无需逐列指定批量删除任意列匹配结尾字符的行

完全不需要逐列编写df.drop(df[Col1]...)类的硬编码语句，你目前掌握的loc+布尔索引删列的逻辑可以直接平移到删行场景，核心是把列维度的判断替换为行维度的聚合判断即可，实现效率远高于逐列遍历、逐次删除的写法。

核心实现逻辑 #

要实现「遍历Col1到Col15，删除任意列中值以字母"A"结尾的行」，只需要3步：

• 选中需要做规则校验的列范围
• 对选中列做逐元素的规则匹配，生成布尔型的判断矩阵
• 按行聚合判断结果，筛掉任意列命中规则的行

可直接运行的代码 #

分步写法（方便调整规则） #

# 1. 选中需要判断的列范围，这里是连续的Col1到Col15
check_columns = df.loc[:, "Col1":"Col15"]
# 2. 逐元素判断值是否以"A"结尾，na=False表示空值默认判定为不匹配，避免报错
bool_matrix = check_columns.apply(lambda col: col.str.endswith("A", na=False))
# 3. 按行判断：任意一列命中规则就标记为待删除
drop_mask = bool_matrix.any(axis=1)
# 4. 取反保留未命中规则的行，得到最终结果
df_result = df.loc[~drop_mask, :]

单行简写版本 #

df_result = df[~df.loc[:, "Col1":"Col15"].apply(lambda x: x.str.endswith("A", na=False)).any(axis=1)]

适配其他场景的调整方式 #

• 如果需要对全部列做判断，直接去掉列选择部分即可，写法为df[~df.apply(lambda x: x.str.endswith("A", na=False)).any(axis=1)]
• 如果待判断的列不是连续排列的，把"Col1":"Col15"替换成目标列名组成的列表即可，比如["Col1", "Col3", "Col7"]
• 如果判断规则不是字符串后缀匹配，直接替换lambda内的判断逻辑即可：比如要删除任意列值大于100的行，就把col.str.endswith("A", na=False)换成col > 100
• 如果需要所有列都满足规则才删除，把.any(axis=1)换成.all(axis=1)即可

写法对比 #

你之前使用的删列逻辑和上述删行逻辑是完全对称的，记忆成本很低：

删列：df.loc[:, ~ 列维度布尔判断]
删行：df.loc[~ 行维度聚合布尔判断, :]

注意不要使用for循环逐列调用drop删行：逐次删除会触发DataFrame多次全量复制，数据量大时性能极差，还容易出现索引错位的问题。

内容的提问来源于stack exchange，提问作者mikecbos